FB Erweiterte Realität

AVILUSplus - Handgestengesteuerte Visualisierung von Prozess- und Produktdaten

Ein neuartiges, hochspezialisiertes Bauteil soll in eine Produktionsmaschine integriert werden. Ingenieure, Werkmeister und Monteure diskutieren in der Fabrikhalle, was beim Fertigungsprozess zu beachten ist. Durch einfaches Zeigen auf ein Maschinenteil können konkrete Informationen wie Datenblätter, aktuelle Prozessdaten, Reparatur- und Demontageanleitungen vor Ort abgerufen und visualisiert werden. Für den Monteur kann z.B. die Anleitung für den nächsten Fertigungsschritt in ein Head-Mounted Display eingeblendet werden.

Am Beispiel einer Pumpe hat der DFKI-Forschungsbereich „Erweiterte Realität“ exemplarisch einen Demonstrator realisiert, der auf der CeBIT 2009 erstmals vorgestellt wird: Informationen werden durch Fingerzeig auf Einzelteile der Pumpe gezielt angefordert und durch die Geste der „offenen Hand“ abgerufen. Die Rolle des Head-mounted Display übernimmt hier ein hinter dem Exponat montierter Bildschirm, der die ausgewählten Daten in Überblendung mit der Pumpe anzeigt. Eine entscheidende Voraussetzung für dieses Augmented-Reality-Verfahren ist das „Tracking“ von realen Objekten, hier die Verfolgung der Hand, um Informationen über ihre Lage und den Verlauf ihrer Bewegung zu erhalten. Hier ist es ein wesentliches Ziel, insbesondere die Verfahren des markierungsfreien Trackings hinsichtlich ihrer Zuverlässigkeit zu verbessern.

Das verwendete Hand- und Fingerdetektionsverfahren dient im Rahmen der DFKI-Forschung als Basis für eine umfassende Handstellungserkennung. Dabei wird mit einem anatomisch korrekten Handmodell mit 27 Freiheitsgraden gerechnet, das neben reiner Handstellungsklassifikation auch Gelenkwinkel ermittelt. Da Augmented Reality sehr harte Echtzeitanforderungen an die gesamte Verarbeitungskette stellt, die zusätzlich oft mit der Anforderung der Hardware-Mobilität einhergehen, müssen entsprechende Algorithmen ein sehr effizientes Laufzeitverhalten zeigen.

Nils Petersen

Forschungsbereich Erweiterte Realität

E-Mail: Nils.Petersen@dfki.de

Tel. +49 (0)631 20575-354