Im Forschungsbereich Intelligente Benutzerschnittstellen werden die Grundlagen multimodaler Mensch-Technik-Interaktion erarbeitet und personalisierte Dialogsysteme entwickelt, die Sprache, Gestik und Mimik mit physischer Interaktion verbinden. Dabei werden Benutzer-, Aufgaben- und Domänenmodelle verwendet, um das Dialogverhalten jeweils möglichst natürlich und das Dialogverstehen selbst in Gruppendiskussionen oder lauten Umgebungen möglichst robust zu gestalten. Durch die Integration virtueller Charaktere kann auch auf der Ausgabeseite emotionales und soziales Interaktionsverhalten realisiert werden.

Einen Schwerpunkt bilden mobile Benutzerschnittstellen zu ortsbasierten und kontextsensitiven Diensten insbesondere für die Verwendung in Fahrzeugen und beim Einkaufen sowie in Themenparks und Museen. Neben dem intelligenten Zugang zum Internet der Dienste und der Dinge im Rahmen des semantischen Webs wird auch der barrierefreie Zugang zu instrumentierten Umgebungen und zu vernetzen Welten für Senioren und Behinderte untersucht. Unsere Forschungsresultate wenden wir auch für innovative Sicherheitslösungen und selbst-verteidigende Netzwerke an.

Das Förderprogramm THESEUS des Bundesministeriums für Wirtschaft und Technologie (BMWi) hat das Ziel, eine neue internetbasierte Wissensinfrastruktur zu entwickeln, um das Wissen im Internet besser zu nutzen und zu verwerten. Im Rahmen der innovativen Basistechnologien ist der Forschungsbereich für das Arbeitspaket "Situationsbewusste Dialogverarbeitung" verantwortlich, in dem multimodale Schnittstellen für die dialogische Interaktion zwischen Mensch und Maschine realisiert werden. Anwender können so z.B. ihre Anfragen intuitiv formulieren und sie frei sprechend im Dialog mit dem System verfeinern. Im Rahmen des Anwendungsszenarios TEXO wird die Infrastruktur für neue unternehmensübergreifende Web-basierte Dienste und Dienstleistungen auf der Grundlage der serviceorientierten Architektur (SOA) entwickelt, die die flexible, semantisch orientierte Vermittlung zwischen Dienstanbietern und Dienstnutzern erlaubt. Der Forschungsbereich erstellt in diesem Szenario eine mobile, multimodale Schnittstelle für den Zugriff auf Business-Webs.

Die Innovationsallianz Digitales Produktgedächtnis im Rahmen des Förderprogramms IKT2020 wird mit dem Projekt SemProM - Digitales Produktgedächtnis mit Partnern aus Forschung, Handel, Logistik, Pharmaindustrie und Automobilindustrie unter der Konsortialleitung des Forschungsbereichs IUI durch die aktive Mitgestaltung offener Standards die semantische Interoperabilität zwischen Produktgedächtnissen sowie den allgegenwärtigen, multimodalen Zugang für deren Anwender sicherstellen. SemProM wird die nächste Generation von mobilen, eingebetteten und funkbasierten Elementen für die semantische Internetkommunikation zwischen Alltagsobjekten entwickeln. Die Fähigkeiten solcher "intelligenter" Produkte werden weit über die reine Identifikationsfunktion von heutigen RFID-Kennzeichnungen hinausgehen. Sie sollen die Daten verschiedener eingebetteter Sensoren (z.B. Temperatur, Helligkeit, Feuchtigkeit, Geschwindigkeit, Beschleunigung, Lage) auswerten und daneben alle relevanten Produkt- und Betriebsdaten erfassen. Im Sinne eines "Internet der Dinge" sollen diese Informationen mit ihrer Umgebung, ihren Nutzern und mit anderen Produkten aktiv ausgetauscht werden können.

Ein weiteres Projekt im Forschungsverbund "Digitales Produktgedächtnis" ist das Forschungsprojekt Allianz Digitaler Warenfluss (ADiWa). Ziel von ADiWa ist es, Technologien für Unternehmensanwendungen zu erforschen, die komplexe und dynamische Geschäftsprozesse über das "Internet der Dinge" planen, steuern und ausführen. Bisher wurden Technologien des Internets der Dinge in der Praxis eingesetzt, um Objekte zu identifizieren oder die Datenerfassung an einzelnen Prozessschritten wie Warenein- oder -ausgang zu automatisieren. Mit den in ADiWa zu erforschenden Methoden und Werkzeugen wird beabsichtigt, alle am Objekt auftretenden Ereignisse strukturiert zu erfassen und zu analysieren, um den gesamten Geschäftsprozessverlauf mit Waren- und Informationsfluss unter ökonomischen und ökologischen Gesichtspunkten automatisiert planen, steuern und optimieren zu können.

Der Forschungsbereich betreibt zusammen mit der Globus SB-Warenhaus Holding ein neues Forschungslabor, das Innovative Retail Laboratory – IRL. Erforscht, entwickelt und erprobt werden hier innovative Lösungen in Handel und Logistik, die besonders dem Kunden weitere Vorteile beim Einkauf bringen sollen.

Das vom Bundesministerium für Bildung und Forschung geförderte Projekt CARMINA zielt darauf ab, die Grundlagen für eine neue Generation von kontext-sensitiven multimodalen Schnittstellen für automobile Anwendungen zu legen, welche die folgenden Arten von Interaktionen unterstützen: die Interaktion von Fahrer und Passagieren mit dem Fahrzeug sowie mobilen Internetdiensten, die Interaktion zwischen den Passagieren, d.h. dem Fahrer, Beifahrer und Reisenden auf dem Rücksitz ("Multi-Party-Interaction") und die Interaktion von Fahrer und Passagieren mit der Umgebung. Es wird ein aufgabenorientiertes Dialogsystem entwickelt, das dem Benutzer eine Informationsbeschaffung auf Basis neuer Möglichkeiten der Car2X-Kommunikation ermöglicht und neben Sprache auch berührbare Schnittstellen ("tangible interfaces") unterstützt. Weiterhin werden auch multi-party-Aspekte berücksichtigt, so dass ein rollenbasierter Zugang zu den Geräten und Diensten ermöglicht wird. Voraussetzung für eine erfolgreiche Mehrbenutzer-Interaktion ist jedoch die Lösung damit verbundener Probleme, wie beispielsweise dem möglichen Vorkommen von überlappender Sprache und der Notwendigkeit von Sprecheridentifikation.

Der Forschungsschwerpunkt des EU-Projekts i2home ist die intuitive Interaktion für jedermann mit Heimelektronik, die auf Industriestandards basiert. i2home macht Hausgeräte für Personen mit leichten kognitiven Behinderungen und für ältere Personen besser zugänglich, wobei ein neuer Standard für Benutzerschnittstellen, nämlich die "Universal Remote Console" ((URC) verwendet wird. Der Forschungsbereich übernimmt hier die Koordinationsfunktion und entwickelt weiterhin ein flexibles multimodales Dialogsystem, so dass der Benutzer über ein mobiles Endgerät intuitiv mit den Zielgeräten kommunizieren kann.

Im EU-Projekt AMIDA werden Technologien entwickelt, die Kommunikationsprobleme in Gruppenmeetings erkennen und überwinden können. Die Vision ist, einen Meetingassistenten zu entwickeln, der den Verlauf eines Meetings gut genug verstehen kann, um einer interessierten Person mitteilen zu können, was bisher geschehen ist oder wenn ein interessantes Thema aufkommt. Es werden dabei Live-Meetings mit verteilten Teilnehmern und unter Verwendung von low-cost Sensorik bzgl. Kameras und Mikrophonen berücksichtigt. Der Forschungsbereich arbeitet in AMIDA an der multimodalen Zusammenfassung des Meetinginhalts.

In der Vergangenheit war der Forschungsbereich in dem Themenschwerpunkt multimodale Interaktionssysteme u.a. bei der BMBF-Leitinnovation SmartWeb sehr aktiv beteiligt. Die Aufgaben Projektleitung und -management, Systemintegration und die Realisierung einer multimodalen Dialogkomponente wurden übernommen. SmartWeb ermöglichte den intuitiven Zugang zum Semantischen Web und seinen Diensten durch intelligente Benutzerschnittstellen in einem mobilen multimodalen Dialog.

Leitung: Prof. Dr. Wolfgang Wahlster
Stellvertretung: Dr. Dietmar Dengler

Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)
Campus D3 2
Stuhlsatzenhausweg 3
D-66123 Saarbrücken
Deutschland

Telefon: +49 (0)681 / 302-5252
Fax: +49 (0)681 / 302-5341