Projekt

GreifbAR

Greifbare Realität - geschickte Interaktion von Benutzerhänden und -fingern mit realen Werkzeuge in mixed-Reality Welten

Greifbare Realität - geschickte Interaktion von Benutzerhänden und -fingern mit realen Werkzeuge in mixed-Reality Welten

Ziel des Projekts GreifbAR ist es, Mixed-Reality Welten (MR), einschließlich virtueller (VR) und erweiterter Realität („Augmented Reality“ – AR), greifbar und fassbar zu machen, indem die Nutzer mit bloßen Händen mit realen und virtuellen Objekten interagieren können. Die Genauigkeit und Geschicklichkeit der Hand ist für die Ausführung präziser Aufgaben in vielen Bereichen von größter Bedeutung, aber die Erfassung der Hand-Objekt-Interaktion in aktuellen MR-Systemen ist völlig unzureichend. Derzeitige Systeme basieren auf handgehaltenen Controllern oder Erfassungsgeräten, die auf Handgesten ohne Kontakt mit realen Objekten beschränkt sind. GreifbAR löst diese Einschränkung, indem es ein Erfassungssystem einführt, das sowohl die vollständige Handhalterung inklusiv Handoberfläche als auch die Objektpose erkennt, wenn Benutzer mit realen Objekten oder Werkzeugen interagieren. Dieses Erfassungssystem wird in einen Mixed-Reality-Trainingssimulator integriert, der in zwei relevanten Anwendungsfällen demonstriert wird: industrielle Montage und Training chirurgischer Fertigkeiten. Die Nutzbarkeit und Anwendbarkeit sowie der Mehrwert für Trainingssituationen werden gründlich durch Benutzerstudien analysiert.

Partner

NMY - Mixed Reality Communication GmbH Hanauer Landstraße 188, 60314 Frankfurt am Main

Charité – Universitätsmedizin Berlin Charitéplatz 1, 10117 Berlin

Universität Passau vertreten durch den Präsidenten, Prof. Dr. Ulrich Bartosch Innstraße 40, 94032 Passau Wissenschaftliche Leitung: Prof. Dr. Susanne Mayr Lehrstuhl für Psychologie mit Schwerpunkt Mensch - Maschine - Interaktion

Fördergeber

BMBF - Bundesministerium für Bildung und Forschung

16SV8732

BMBF - Bundesministerium für Bildung und Forschung

Projekt teilen auf:

Keyfacts

Publikationen zum Projekt

Ahmed Tawfik Aboukhadra; Muhammad Jameel Nawaz Malik; Ahmed Elhayek; Nadia Robertini; Didier Stricker

In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). IEEE Winter Conference on Applications of Computer Vision (WACV-2023), January 3-7, Waikoloa, Hawaii, USA, Pages 1001-1010, IEEE, 2023.

Zur Publikation

Yongzhi Su; Mahdi Saleh; Torben Fetzer; Jason Raphael Rambach; Nassir Navab; Benjamin Busam; Didier Stricker; Federico Tombari

In: IEEE/CVF. International Conference on Computer Vision and Pattern Recognition (CVPR-2022), June 19-24, New Orleans, Louisiana, USA, IEEE/CVF, 2022.

Zur Publikation

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence