Teilprojekt C1
Umgebungserkennung und Personenverfolgung

Inhalt

Ein Companion-System muss seine Umgebung interpretierend wahrnehmen, um in Personengruppen den Nutzer zu erkennen und mit ihm unter Einbeziehung von dessen Mimik, Sprache und Gestik kommunizieren zu können. In diesem Teilprojekt werden hierfür die wichtigen Aufgaben der Umgebungserkennung, Umgebungsmodellierung und Basisgestenerkennung gelöst. Zur Umgebungserfassung werden Methoden zur Multi-Sensorfusion, Informationsfusion und zeitlichen Filterung basierend auf der Finite Sets Theorie erforscht und weiterentwickelt, die eine gleichzeitige Schätzung der Objektexistenz und des Objektzustandes erlauben. Die Detektion, Verfolgung und Klassifikation von Personen und anderen Objekten erfolgt unter Nutzung multisensorieller Daten und die Klassifikation von Nutzergesten rein bildbasiert unter Nutzung von Hidden-Markov Modellen (HMM). Für eine robuste Klassifikation der Gesten finden statische und dynamische Merkmale Anwendung, für deren Extraktion aufgrund der bisherigen Forschungsarbeiten auch Farbinformationen zweckmäßig sind. Die Segmentierung unter Nutzung von Farbinformationen und 3D-Informationen liefert dann eine weitgehende Robustheit gegenüber Störungen, Verdeckungen, Helligkeitsschwankungen und Störeinflüssen durch den Hintergrund.