Multimodale Ein- und Ausgabekanäle der Interaktion eröffnen neue Möglichkeiten für Companion-Systeme. Nutzer sollen in der Lage sein, die jeweils optimalen und zur aktuellen Interaktion passenden Modalitäten der Ein- und Ausgabe zu nutzen. In der ersten Förderperiode wurde dazu ein Interaktionsmodell entwickelt, das eine zum aktuellen Nutzungskontext passende, multimodale Benutzerschnittstelle generiert.
Der gegenwärtige Fokus liegt auf der individuellen Adaptation der Benutzerschnittstelle unter Verwendung der Interaktionshistorie zwischen Nutzer und Gerät. Ein- und Ausgabeentscheidungen des Systems müssen dazu um Lernmechanismen und Entscheidungsmodule erweitert werden, die relevante Informationen der Historie verarbeiten. Hierzu ist es auch von großer Bedeutung, die affektiven Zustände des Nutzers sowie deren physiologische und kognitive Auswirkungen zu beachten und in das Modell zu integrieren. So kann in unterschiedlichen affektiven Zuständen ein und dieselbe Ausgabe anders bis gar nicht wahrgenommen werden oder aber die bevorzugte Form der Ein- und Ausgabe als Ganzes variieren. Dazu muss zunächst der Einfluss affektiver Zustände auf die multimodale Wahrnehmung und das Verhalten des Nutzers untersucht werden.
Zusammengenommen versetzt dies ein Companion-System in die Lage, sich nicht nur an die allgemeinen Präferenzen des Nutzers anzupassen, sondern auch auf die unmittelbaren Bedürfnisse des aktuellen Nutzers einzugehen und somit das größtmögliche Maß an Benutzerfreundlichkeit zu erreichen.
