Dieses Teilprojekt beschäftigt sich mit der Frage der Dispositionserkennung aus gesprochener Sprache. Im Mittelpunkt steht die Verknüpfung der Sprachakustik mit Kontextinformationen, wie z.B. der Dialogverlauf, die Nutzerinformation, seine Situation. Diese werden in Zusammenarbeit mit den Teilprojekten A3, B1, B4 und C1 erarbeitet.
Hierzu sollen die Arbeiten auf Datenbanken aus natürlichen Szenarios intensiviert werden, um diese Kontextinformationen abzubilden. Mit den Teilprojekten A3 und B4 werden sprachlich erfassbare Dispositionskategorien abgeleitet. Ferner werden in enger Zusammenarbeit mit A3 und C4 höhere Bedeutungen, wie z.B. Dialogabbruch, in den Daten markiert.
Zur automatischen Erkennung werden neben den klassischen akustischen Merkmalen auch paralinguistische herangezogen. Gerade in Dialogsituationen, in denen akustische Merkmale allein nicht bedeutungsunterscheidend genug sind, versprechen paralinguistische Merkmale wie Lachen, Stöhnen, Atmen, Pausen, eine verbesserte Erkennung.
Durch eine Fusion der akustischen und paralinguistischen Merkmale wird eine robustere Klassifizierung ermöglicht. Besonders aufschlussreich können Fälle sein, in denen sich beide Klassifizierer widersprechen. Um eine bestmögliche Erkennungsleistung zu garantieren, werden weiterhin Adaptionsmethoden genutzt, um eine affektive Adaption an den jeweiligen Benutzer zu ermöglichen.
