Architekturen
VA-Morph Hardware
Um die Verarbeitungsvorgänge im Gehirn genauer modellieren zu können, verwendet das VA-Morph Projekt spezielle Sensoren und Verarbeitungseinheiten welche neuronalen Mechanismen nachempfunden sind.
Die Erzeugung und Verarbeitung von Sensorsignalen in biologischen Systemen basiert auf zeitlichen Ereignissen. Diese werden technisch durch neuartige Kameras (eDVS) ermöglicht, die ähnlich wie die Netzhaut des menschlichen Auges arbeiten. Ähnlich werden auditive Ereignisse durch ein speziell entwickeltes Board (DAS1) erfasst welches der menschlichen Cochlea nachempfunden ist. Die anschließende Verarbeitung diese sensorischen ereignis-basierten Daten erfolgt auf dem TrueNorth Chip von IBM.
DVS Kamera
Die DVS Kamera der Firma IniLabs ist der menschlichen Retina nachempfunden und erzeugt im Gegensatz zu herkömmlichen Kameras keinen Bilderstrom sondern lediglich einen Strom aus Ereignissen. Ein Ereignis ist hierbei eine zeitliche Veränderung im Bereich eines einzelnen Pixels d.h. die Kamera erzeugt nur Daten wenn sich etwas im Wahrnehmungsfeld verändert. Dadurch wird die Erzeugung redundanter Information vermieden, Strom- und Speicherverbrauch drastisch gesenkt und eine effiziente bio-inspirierte Verarbeitung der Datensätze ermöglicht. Die Reaktionszeit dieser Kamera beträgt 15 us in heller Umgebung mit einer Auflösung von 128×128 Pixeln. Ereignisse können mit bis zu 1 us zeitlicher Präzision registriert werden.
Dynamic Audio Sensor
Der Dynamic Audio Sensor der Firma IniLabs ist der menschlichen Cochlea nachempfunden und kann Frequenzen im Bereich 20 Hz - 20 kHz verarbeiten. Die über zwei angeschlossene Mikrofone erzeugten Audiosignale werden in diesem Sensor parallel in ihre Frequenzbänder unterteilt und sie als Ereignisse in dem jeweiligen Band bzw. Kanal kodiert. Die derzeit aktuellste Version des Sensors verfügt derzeit über 64 Frequenzkanäle pro Mikrofoneingang. In jedem dieser Kanäle können bis zu 4 Ganglion Zellen aktiviert werden welche dann auf Frequenzbereich innerhalb dieses Kanals reagieren.
Open Source Development Kit TurtleBot2
Der TurtleBot 2 ist eine mobile open source Roboter Plattform. Durch das verwendete Robotic Operating System (ROS) kann der Roboter einfach programmiert und erweitert werden.
Im Laufe des VA-Morph Projektes wurden zwei DVS-Kameras und eine Webcam montiert. Die Verarbeitung und Visualisierung der übertragenen Daten erfolgt über ein ebenfalls an die Roboterplattform angeschlossenes Raspberry Pi mit integriertem Touch Display.
Um dem Roboter die auditorische Wahrnehmung zu ermöglichen, wird im weiteren Verlauf zusätzlich ein Dynamic Audio Sensor montiert.
Prozessor
Der TrueNorth Chip von IBM ist ein neuromorpher Prozessor, der Synapsen und Neuronen durch Transistoren in herkömmlicher Siliziumtechnik nachbildet. Das implementierte Neuronenmodell erlaubt die effiziente Simulation von einer Million Neuronen pro Chip. Bei einer Leistungsaufnahme von wenigen Zig Milliwatt kann jedes Neuron 1000 mal pro Sekunde abgearbeitet werden. Vergleichbare Simulationen auf herkömmlichen Architekturen benötigen ein Vielfaches an Leistung, weshalb TrueNorth sich für Embedded-Systeme und kleine, autonome Plattformen anbietet.