DriveU Traffic Light Dataset (DTLD)
Herzlich Willkommen!
Herzlich Willkommen auf der Homepage des DriveU Traffic Light Datasets (DTLD). Wir präsentieren einen handannotierten Datensatz, welcher an Forscher im Bereich der Erkennung von Lichtsignalanlagen adressiert ist. Die Hauptbeiträge des Datensatzes zum Stand der Technik sind:
- Quantität: Der Datensatz übertrifft bisherige Stichproben zur Lichtsignalerkennung in der Anzahl an gelabelten Objekten (11/2018).
- Qualität: Dank eines eigenen Annotationstools werden sehr exakt und konsistent annotierte Objekte veröffentlicht. Darüber hinaus sind alle Objekte mit weiteren Attributen wie Orientierung, Piktogramm- und Relevanzinformation versehen. Des Weiteren gibt es Trackidentitätsnummern, welche eindeutige Lichtsignalinstanzen gruppieren.
- Weitere Sensordaten: Zusätzlich zu Kamerabildern werden Disparitätsdaten, Kalibrierung sowie weitere Fahrzeugdaten wie GPS, Geschwindigkeit und Gierrate veröffentlicht.
Übersicht zum Datensatz
DTLD enthält mehr als 230 000 annotierte Lichtsignalanlagen in Kamerabildern mit 2 Megapixeln Auflösung. Der Datensatz wurde in 11 deutschen Städten mit einer Bildfrequenz von 15 Hz aufgenommen. Durch eine Vielzahl an annotierten Lichtsignalattributen wie Orientierung, Relevanz, Zustand oder Piktogramm existieren insgesamt 344 unterschiedliche Labelklassen. Zusätzlich zu den Kamerabildern werden Disparitätsbilder veröffentlicht, durch welche eine tiefenbasierte Detektion und tiefenabhängige Auswertungen möglich sind.
Annotation an der Auflösungsgrenze
Das verwendete Annotationstool ermöglicht eine Annotation von Objekten der Breite 5 Pixel oder weniger. Aus diesem Grund besteht DTLD aus einer sehr hohen Anzahl an sehr kleinen Objekten (siehe Abbildung 2). Daher ist der Datensatz auch für Forschungen im Bereich der Objekterkennung bei sehr geringen Auflösungen gut geeignet.
Hohe Varianz des Lichtsignalseitenverhältnisses
Im Datensatz gbt es eine Vielzahl an annotierten Lichtsignalanlagen mit einer, zwei (z.B. Fußgängerpiktogramm), drei oder vier (Bus/Tram) aktiven Lichtelementen. Dadurch ist die Seitenverhältnisvarianz wesentlich höher als in bisherigen Stichproben, welche sich meist auf Lichtsignalanlagen mit 3 aktiven Lichtelementen fokussiert haben.
Hohe örtliche Varianz
Eine bedeutende Eigenschaft von DTLD ist die hohe örtliche Varianz (siehe Bild 4). Örtliche Varianz beschreibt die örtliche Verteilung (Position) der Annotationen im Kamerabild. Dies konnte durch Herausfiltern von statischen Szenen erreicht werden. Es wurden nur statische Szenen hinzugefügt, in denen sich der Zustand von mindestens einer Ampel geändert hat.
Labels
Es werden Annotationen in Form von Bounding Box Koordinaten (linke obere Ecke, Breite, Höhe) aber auch weitere Attribute veröffentlicht, wie:
- Perspektivische Orientierung
- Relevanz
- Orientierung
- Anzahl an Lichteinheiten
- Zustand
- Piktogramm
Diese Attribute werden durch eine sechsstellige Klassenidentitätsnummer zusammengefasst (Anmerkung 04/21: nur DTLD v1.0!). Ab 04/21, DTLD v2.0, wird die Klassenidentitätsnummer durch ein Attribut-Dictionary ersetzt. Zusätzlich zu den bislang annotierten Attributen wird Reflektion beigefügt. Dies gibt an, ob das Lichtsignal lediglich eine Reflektion, z. B. in Schaufenstern, ist Darüber hinaus besitzt jedes Label eine Trackidentitätsnummer (nützlich für die Auswertung von Trackingverfahren). Für jedes Bild exisiert ein Zeitstempel und einige Fahrzeugdaten (GPS Position, Geschwindigkeit, Gierrate).
Klassenidentitätsnummer
Digit I: Perspektivische Orientierung
Beschreibt die Orientierung einer Lichtsignalanlage im Bezug auf das Ego-Fahrzeug. Es gibt vier verschiedene Klassen:
- Front: Lichtsignalanlage ist gültig für das Ego-Fahrzeug. Zustand und Piktogramm sind meist gut erkennbar.
- Back: Lichtsignalanlage ist gültig für den entgegenkommenden Verkehr und meist komplett um 180° gedreht.
- Left: Lichtsignalanlage ist um ca 90 ° nach links gedreht. Gilt meist für Fußgänger.
- Right: Lichtsignalanlage ist um ca 90 ° nach rechts gedreht. Gilt meist für Fußgänger.
Digit II: Relevanz/Verdeckung
- Relevant: Eine Lichtsignalanlage ist relevant wenn es für die geplante Route des Ego-Fahrzeugs gültig ist.
- Occlusion: Fasst verdeckte und abgeschnittene (Bildrand) Lichtsignalanlagen zuammen.
Digit III: Orientierung
- Horizontal: Horizontal orientierte Lichtsignalanlagen, häufig in Asien.
- Vertical: Vertikal orientierte Lichtsignalanlagen.
Digit IV: Anzahl an Leuchteinheiten
Selbsterklärend.
Digit V: Zustand
Selbsterklärend.
Digit VI: Piktogramm
Beschreibt die Maske des aktiven Lichts (kreisförmig, pfeilförmig, Fußgänger, Fahrrad ...).
Trackidentitätsnummer
Jede Instanz einer Lichtsignalanlage erhält eine Trackidentitätsnummer während einer Sequenz. Eine Sequenz besteht aus allen Bildern einer Kreuzungsanfahrt bis zum Passieren der Haltelinie.
Fahrzeugdaten
DTLD stellt zeitliche Informationen in Form eines Zeitstempels sowie örtliche Informationen in Form von GPS zur Verfügung. Geschwindigkeit und Gierrate sind jedem Bild beigefügt.
Nutzung des Datensatzes
Wir stellen Tools und Skripte in C++, Python und MATLAB zur Nutzung des Datensatzes zur Verfügung. Eine Dokumentation ist beigelegt.
Download
Information
Klicken Sie hier zum Registrieren und Download der Daten
Zitierung
Falls Sie das DTLD für Ihre wissenschaftliche Arbeit genutzt haben, zitieren Sie bitte unsere Veröffentlichung auf der ICRA2018.
Veröffentlichungen basierend auf dem DTLD
2016:
Fregin et al.: A closer look an traffic light detection evaluation metrics, ITSC 2016
2017:
Fregin et al.: Three ways using stereo vision for traffic light recognition, IV 2017
Fregin et al.: Feature detectors for traffic light recognition, ITSC 2017
2018:
Müller et al.: Detecting Traffic Lights by Single Shot Detection, arXiv preprint 2018
Kontaktieren Sie uns um Ihre Publikation basierend auf dem DTLD hinzuzufügen!
Hier geht es zur Formularseite
Feedback/Fragen/Probleme jeglicher Art
Feedback? Fragen? Probleme rund um/mit dem Datensatz? Kontaktieren Sie uns!
Reporting Labeling Errors
We are currently still working on improving our dataset. You can help us by reporting not labeled traffic lights, inaccurate labels, or wrong class identities. We would appreciate a json file with the following structure:
[
{"path": "./Berlin/Berlin1/2015-04-17_10-50-05/DE_BBBR667_2015-04-17_10-50-13-633939_k0.tiff", "objects": [{"y": 313, "x": 1353, "height": 19, "comment": ["error", "object_error"], "width": 6}]},
{"path": "./Berlin/Berlin1/2015-04-17_10-50-41/DE_BBBR667_2015-04-17_10-50-46-968138_k0.tiff", "objects": [{"y": 285, "x": 1306, "height": 25, "comment": ["error", "classid_error"], "width": 7}]}
]