DFKI und Hitachi entwickeln mobiles KI-System zur Aktivitätserkennung bei Fertigungsarbeiten

Bilder
Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) und Hitachi haben gemeinsam eine KI-Technologie entwickelt, welche Arbeitsaktivitäten mittels tragbarer Geräte erfasst. Mit dem System lassen sich anspruchsvolle Arbeitstätigkeiten unterstützen und menschliche Fehler in der Fertigung vermeiden.

Die Erkennung der Arbeitshandlungen in Echtzeit geschieht über die Blickverfolgung anhand einer sogenannten „Eyetracking“-Brille, darauf aufsetzende Aufmerksamkeitsmessung sowie über Armband-Sensorik. Die hohe Erkennungsfähigkeit wird durch den Einsatz von Deep Learning-Technologien erreicht. Durch diese lernt das System die verwendeten Werkzeuge und Teile sowie die zu erwartenden Aktionen. Ziel der Entwicklung ist es, den Menschen bei anspruchsvollen Tätigkeiten in der Fertigung zu unterstützen, dadurch Fehler zu vermeiden und so zur Steigerung von Qualität und Effizienz beizutragen.

Das von DFKI und Hitachi entwickelte KI-System ist dementsprechend in der Lage, auf Basis von Blickrichtungs- und Bewegungssensoren, kritische Handlungen und Gerätefehler in der Produktionslinie frühzeitig zu erkennen. Die Wissenschaftler des DFKI-Forschungsbereichs Smarte Daten & Wissensdienste und die Entwickler von Hitachi verwenden dabei ausschließlich Daten aus mobilen, am Körper getragenen Sensoren, aus der Eyetracking-Brille und den Armband-Sensoren.

Die gemeinsam entwickelte KI-Technologie zeichnet sich durch die folgenden Merkmale aus:

  1. Erkennung der im Zentrum der Aufmerksamkeit stehenden Objekte durch Eyetracking:
    Durch die präzise Verfolgung der Augenbewegungen und Blickpunkte mittels einer Eyetracking-Brille werden betrachtete Objekte wie „Schraube“ oder „Schraubenzieher“ erkannt, ohne durch die Umgebung oder den Hintergrund gestört zu werden. Um die Objekte zuverlässig zu erkennen, kommen Deep Learning-Methoden zum Einsatz.
  2. Erkennung der grundlegenden Handlungen über Armband-Sensorik:
    Am Handgelenk getragene Sensoren erfassen Handlungen wie drehen“ oder „drücken“ über die Armbewegungen. Die Daten werden in Echtzeit aus Richtungs-, Beschleunigungs- und Rotationssignalen sowie elektrischen Signalen der Muskelkontraktionen extrahiert.
  3. Hierarchisches Aktivitätserkennungsmodell, zur Erkennung der Aktivitäten durch die Integration betrachteter Objekten und menschlicher Handlungen:
    Diese Technologie verbindet die beiden zuvor genannten Methoden zu einer hierarchischen Aktivitätserkennung, sodass Handlungen wie „Verdrehen der Schraube“ erkannt werden. Aus vorab gelernten Handlungen und verwendeten Gegenständen lässt sich so eine Vielzahl von Arbeitsaktivitäten ableiten.

Auf Basis dieser Technologien wurde das KI-System entwickelt, welches Aktivitäten wie "Verdrehen einer Schraube" oder "Drücken eines Schalters" als Teil der "Inspektionsaufgabe“ in Echtzeit erkennt. Dieses soll nun im industriellen Einsatz weiterentwickelt werden um Arbeitsprozesse zu optimieren, bei denen intelligente Assistenz und Fehlererkennung besonders erforderlich sind.

Stand: Halle 4, A38/70

Weitere Informationen:
https://www.dfki.de/web/presse/pressemitteilung/2017/Hitachi

Kontakt:
Prof. Dr. Prof. h.c. Andreas Dengel
Smarte Daten & Wissensdienste
Tel.: 0631 20575-1010
E-Mail: Andreas.Dengel@dfki.de