Das EU-Projekt DENSE hat zum Ziel eines der herausforderndsten Probleme des automatisierten Fahrens zu lösen: die Umgebung unter allen Wetterbedingungen zu erfassen. Schlechtes Wetter - wie z.B. Schnee, starker Regen oder Nebel - stellt eine der letzten noch verbleibenden technischen Herausforderungen dar, die die Markteinführung des selbstfahrenden Autos derzeit noch verhindern. Diese Herausforderung kann nur durch eine neue Technologie zur Umgebungserfassung gelöst werden, die zu jeder Zeit und unter jeder Wetterbedingung zuverlässig arbeitet.

Diese Homepage präsentiert eine Vielzahl von Projekten und Datensätzen, die während des Projekts entwickelt wurden.

• Gated2Depth: Bildgebende Methode, die aus drei Bildern einer Gated-Kamera eine hochauflösende Tiefenkarte erzeugt. Die Tiefengenauigkeit ist dabei mit Lidar-Messungen vergleichbar.  
• Seeing Through Fog: Neuer multimodaler Datensatz mit 12.000 Szenen unter verschiedenen Wetter- und Beleuchtungsbedingungen und 1.500 Messungen in einer Nebelkammer. Zudem ist der Datensatz mit genauen menschlichen Labels für Objekte, die mit 2D- und 3D-Bounding-Boxen anmontiert wurden, und Frame-Tags, welche das Wetter, die Tageszeit und die Straßenbedingungen beschreiben, versehen.
• Gated2Gated: Selbst überwachtes Framework, welches aus drei unterschiedlich beleuchteten Bildern einer Gated Kamera absolute Tiefenkarten erzeugt und zyklische und zeitliche Konsistenz als Trainingssignal verwendet. Diese Arbeit erweitert den Seeing Through Fog-Datensatz um zeitlich aufeinanderfolgende Gated Sequenzen. Dabei enthält jedes zentrale Gated-Bild synchronisierte Lidar-Daten und präzise Szenen- und Objektannotationen.
• Pixel Accurate Depth Benchmark: Ein Benchmark für Methoden zur 3D-Umgebungserfassung unter verschiedenen Wetterbedingungen mit hochauflösender Tiefe.
• Image Enhancement Benchmark: Ein Benchmark für Bildverbesserungsmethoden.

Wir stellen ein bildgebendes Framework vor, das drei Bilder einer kostengünstigen CMOS-Gated-Kamera in hochauflösende Tiefenkarten umwandelt, deren Tiefengenauigkeit mit gepulsten Lidar-Messungen vergleichbar ist. Die wichtigsten Beiträge dieser Arbeit sind:

• Ein lernbasierten Ansatz zur Schätzung von hochauflösender Tiefe aus Bildern einer Gated Kamera, ohne dass dichte Tiefeninformation beim Training benötigt wird.
• Validierung der vorgeschlagene Methode in der Simulation und an realen Messungen, die mit einem Prototypensystem in anspruchsvollen und realen Straßenszenarien aufgezeichnet wurden. Wir zeigen, dass die Methode eine dichte Tiefeninformation von bis zu 80m extrahieren kann und die Tiefengenauigkeit dabei mit einem scannenden Lidar vergleichbar ist.
• Datensatz: Wir stellen den ersten großen Datensatz mit Bildern einer Gated Kamera zur Verfügung, der bei Testfahrten (über 4.000km) in Nordeuropa aufgezeichnet wurde.

Zur Erfassung des Datensatzes haben wir das unten dargestellte Testfahrzeug mit Sensoren aufgebaut. Die Sensorik deckt die das sichtbare-, NIR-, FIR- und mm-Spektrum ab. Insgesamt messen wir die Intensitäten, Tiefe und Wetterbedingungen. Weitere Informationen finden Sie in unserem Datensatzpapier.

Wir stellen ein selbst überwachtes Framework vor, welches drei unterschiedlich beleuchtete Bilder von einer Gated Kamera in hochauflösende Tiefenkarten umwandelt und keine Überwachung durch einen Tiefen-Sensor benötigt. Durch die gleichzeitige Schätzung von Albedo, Tiefe und Umgebungsbeleuchtung der Szene, können die Eingangs-Gated-Bilder rekonstruiert und eine zyklische Konsistenz erzwungen werden. Dies ist in dem Titelbild dargestellt. Zusätzlich verwenden wir sequentielle Daten um eine zeitliche Konsistenz zwischen aufeinanderfolgenden Gated-Bildern herstellen zu können. Dadurch kann das Framework vollständig selbst überwacht trainiert werden. Die wichtigsten Beiträge dieser Arbeit sind:

• Wir präsentieren die erste selbst überwachte Methode zur Tiefenschätzung von Gated-Bildern, bei welcher die Tiefenprädiktionen ohne Überwachung durch einen Tiefensensor erlernt wird.
• Wir zeigen, dass die entwickelte Methode bessere Ergebnisse liefert als andere selbst überwachte und überwachte Methoden, vor allem bei Schlecht-Wetterbedingungen wie Nebel oder Schneefall, bei denen die LiDAR Messungen zu ungenau sind, um für eine Überwachung des Trainings verwendet zu werden.
• Datensatz: Wir präsentieren den ersten Datensatz für sequentielle Gated-Bilder, welcher aus etwa 130 000 Bildern besteht und sowohl bei guten als auch bei schlechten Wetterbedingungen aufgenommen wurden. Dieser Datensatz dient als Erweiterung des Seeing Through Fog-Datensatz, welcher detaillierte Szenen- und, Objektannotationen sowie entsprechende multimodale Daten enthält.

Wir stellen vier typische Outdoor-Straßenszenarien angelehnt an den KITTI-Datensatz nach. Im Einzelnen wurden dabei die folgenden vier realistischen Szenarien aufgebaut: Fußgängerzone, Wohngebiet, Baustelle und Autobahn. Insgesamt besteht dieser Benchmark aus jeweils 10 zufällig ausgewählten Stichproben jedes Szenarios (Tag/Nacht) bei klarem Wetter, leichtem Regen, starkem Regen und 17 Sichtbarkeitsstufen bei Nebel (20-100m in 5m-Schritten), was insgesamt 1.600 Stichproben ergibt.

Um realistische Sensordaten eines Fahrzeuges zu erhalten, die als Grundlage für die in dieser Arbeit bewerteten Methoden zur 3D-Rekonstruktion dienen, wurde ein Forschungsfahrzeug mit einer RGB-Stereokamera (Aptina AR0230, 1920x1024, 12bit) und einem Lidar (Velodyne HDL64-S3, 905 nm) ausgestattet. Alle Sensoren arbeiten in einer ROS-Umgebung und werden durch ein PPS-Signal (Pulse per Second), das von einer proprietären Inertialmesseinheit (IMU) bereitgestellt wird, zeitsynchronisiert.

Aufgrund des schlecht gestellten Problems der Datenerfassung innerhalb von Schlechtwetterszenarien, insbesondere Nebel, basieren die meisten Ansätze im Bereich der Bildentnebelung auf synthetischen Datensätzen und Standardmetriken, die meist aus allgemeinen Ansätzen (Denoising oder Deblurring) stammen. Um die Leistung eines solchen Systems bewerten zu können, sind echte Daten und eine angemessene Metrik erforderlich. Wir stellen einen neuartigen kalibrierten Benchmark-Datensatz vor, der unter realen und definierten Wetterbedingungen aufgezeichnet wurde. Deshalb wurden bewegliche kalibrierte Targets in unterschiedlichen Entfernungen bei anspruchsvoller Beleuchtung und in kontrollierten Wetterbedingungen aufgezeichnet. Dies ermöglicht eine direkte Berechnung des Kontrasts zwischen den jeweiligen Targets und eine leicht interpretierbare Verbesserung des Ergebnisses in Bezug auf den sichtbaren Kontrast.

Zusammengefasst sind die wichtigsten Beiträge:

• Wir stellen einen neuartigen Benchmark-Datensatz zur Verfügung, der unter definierten und einstellbaren realen Wetterbedingungen aufgenommen wurde.
• Eine Metrik wird eingeführt, die die Leistung von Bildverbesserungsmethoden auf eine intuitivere und besser interpretierbare Weise beschreibt.
• Eine Vielzahl modernster Bildverbesserungsmethoden und -metriken wird auf der Grundlage unseres neuartigen Benchmark-Datensatzes untereinander verglichen.

Um den Datensatz aufzunehmen wurden 50cm x 50cm große diffusive Zenith-Polymer-Targets entlang der roten Linie unten verschoben und mit Sensoren eines Forschungsfahrzeuges in der Nebelkammer aufgezeichnet. Weitere Informationen entnehmen Sie bitte unserer Publikation. Das verwendete statische Szenario ist Teil des Pixel Accurate Depth Benchmark.

Oben zeigen wir Beispielbilder für klare Verhältnisse (links) und Nebelbilder (rechts) für eine Nebelsichtweite von 30-40m.