Projekt

GreifbAR

Greifbare Realität - geschickte Interaktion von Benutzerhänden und -fingern mit realen Werkzeuge in mixed-Reality Welten

Greifbare Realität - geschickte Interaktion von Benutzerhänden und -fingern mit realen Werkzeuge in mixed-Reality Welten

Ziel des Projekts GreifbAR ist es, Mixed-Reality Welten (MR), einschließlich virtueller (VR) und erweiterter Realität („Augmented Reality“ – AR), greifbar und fassbar zu machen, indem die Nutzer mit bloßen Händen mit realen und virtuellen Objekten interagieren können. Die Genauigkeit und Geschicklichkeit der Hand ist für die Ausführung präziser Aufgaben in vielen Bereichen von größter Bedeutung, aber die Erfassung der Hand-Objekt-Interaktion in aktuellen MR-Systemen ist völlig unzureichend. Derzeitige Systeme basieren auf handgehaltenen Controllern oder Erfassungsgeräten, die auf Handgesten ohne Kontakt mit realen Objekten beschränkt sind. GreifbAR löst diese Einschränkung, indem es ein Erfassungssystem einführt, das sowohl die vollständige Handhalterung inklusiv Handoberfläche als auch die Objektpose erkennt, wenn Benutzer mit realen Objekten oder Werkzeugen interagieren. Dieses Erfassungssystem wird in einen Mixed-Reality-Trainingssimulator integriert, der in zwei relevanten Anwendungsfällen demonstriert wird: industrielle Montage und Training chirurgischer Fertigkeiten. Die Nutzbarkeit und Anwendbarkeit sowie der Mehrwert für Trainingssituationen werden gründlich durch Benutzerstudien analysiert.

Partner

NMY - Mixed Reality Communication GmbH Hanauer Landstraße 188, 60314 Frankfurt am Main

Charité – Universitätsmedizin Berlin Charitéplatz 1, 10117 Berlin

Universität Passau vertreten durch den Präsidenten, Prof. Dr. Ulrich Bartosch Innstraße 40, 94032 Passau Wissenschaftliche Leitung: Prof. Dr. Susanne Mayr Lehrstuhl für Psychologie mit Schwerpunkt Mensch - Maschine - Interaktion

Fördergeber

Bundesministerium für Bildung und Forschung (BMBF)

16SV8732

Bundesministerium für Bildung und Forschung (BMBF)

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence