LUMINOUS zielt auf die Schaffung der nächsten Generation von sprachunterstützten XR-Systemen ab, bei denen eine auf natürlicher Sprache basierende Kommunikation und multimodale Sprachmodelle (MLLM) die Anpassung an individuelle, nicht vordefinierte Benutzerbedürfnisse und nicht gesehene Umgebungen ermöglichen. Dies wird zukünftige XR-Benutzer in die Lage versetzen, fließend mit ihrer Umgebung zu interagieren und gleichzeitig sofortigen Zugang zu ständig aktualisierten globalen sowie domänenspezifischen Wissensquellen zu haben, um neuartige Aufgaben zu bewältigen. Unser Ziel ist es, MLLMs, die mit domänenspezifischem Wissen angereichert sind, für die Beschreibung neuartiger Aufgaben auf Benutzeranforderung zu nutzen. Diese werden dann über eine Sprachschnittstelle und/oder einen an die Aufgabe anpassbaren Avatar (z.B. Trainer/Lehrer) in Form von verschiedenen visuellen Hilfsmitteln und Verfahrensschritten für die Bewältigung der Aufgabe kommuniziert. Die sprachgesteuerte Spezifikation des Stils, der Mimik und der spezifischen Haltungen virtueller Avatare wird eine verallgemeinerbare und situationsgerechte Kommunikation in verschiedenen Anwendungsfällen und unterschiedlichen Bereichen ermöglichen. Parallel dazu werden LLMs davon profitieren, neue Objekte zu identifizieren, die nicht Teil ihrer Trainingsdaten waren, und sie dann so zu beschreiben, dass sie visuell erkennbar werden. Unsere Ergebnisse werden in drei Pilotprojekten getestet, die sich auf die Neurorehabilitation (Unterstützung von Schlaganfallpatienten mit Sprachbehinderungen), immersives Arbeitssicherheitstraining und die Überprüfung von 3D-Architekturentwürfen konzentrieren. Ein Konsortium aus sechs führenden Forschungs- und Entwicklungsinstituten, die Experten in sechs verschiedenen Disziplinen sind (KI, Augmented Vision, NLP, Computergrafik, Neurorehabilitation, Ethik), wird einen anspruchsvollen Arbeitsplan verfolgen, der darauf abzielt, eine neue Ära an der Kreuzung von zwei der vielversprechendsten aktuellen technologischen Entwicklungen (LLM/AI und XR), die in Europa entwickelt wurden, einzuleiten.
Partner
- Deutsches Forschungszentrum für Künstliche Intelligenz GmbH 2. Ludus Tech SL 3. Mindesk Societa a Responsabilita Limita 4. Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V., 5. Universidad del Pais Vasco/Euskal Herriko Universitatea, 6. Fundación Centro de Tecnologias de Interacción visual y comunicaciones Vicomtech 7. University College Dublin, National University of Ireland, 8. Hypercliq IKE 9. Ricoh International B.V. – Niederlassung Deutschland, 10. MindMaze SA, 11. Centre Hospitalier Universitaire Vaudois, 12. University College London
