Project

Moveon

Visuelles robustes räumliches Szenenverständnis in dynamischen Umgebungen unter Verwendung von intermediären Darstellungen

Visuelles robustes räumliches Szenenverständnis in dynamischen Umgebungen unter Verwendung von intermediären Darstellungen

  • Duration:

Die visuelle 3D-Erfassung einer Szene in Echtzeit und die gleichzeitige Bestimmung der Position und Orientierung der Kamera (6DoF, Freiheitsgrad) im Raum ist eine Kerntechnologie, die in zahlreichen Bereichen wie dem autonomen Fahren, der Robotik oder der Medizintechnik Anwendung findet. Das Ziel des MOVEON-Projekts ist die Entwicklung einer neuartigen Generation von visuellen Positionierungssystemen, die über die klassische Lokalisierung und Kartierung hinausgeht, die sich derzeit nur auf die Rekonstruktion von Punktwolken konzentriert. Im Gegensatz dazu ist es unser Ziel, eine 6DoF-Positionierung und ein globales Szenenverständnis in unkontrollierten und dynamischen Umgebungen (z.B. überfüllten Straßen) zu ermöglichen, die sich mit der Größe der Umgebung gut skalieren lässt und die durch die Wiederverwendung konsistenter Karten über einen längeren Zeitraum hinweg dauerhaft eingesetzt werden kann. MOVEON wird den Stand der Technik im visionsbasierten, räumlich-zeitlichen Szenenverständnis vorantreiben, indem es neuartige maschinelle Lernansätze mit geometrischem Schließen (geometric-reasoning) verbindet. Die auf Deep-Learning basierende Erkennung und das Verständnis von High-Level-Konzepten wie Fluchtpunkten oder großen Objektklassen werden als einheitliche Bausteine für eine räumlich-zeitliche Lokalisierung und die Rekonstruktion der Umgebung dienen, die geometrisches Schließen als zugrundeliegende Unterstützung verwenden wird. Dadurch entstehen „hybride Systeme“, die die Stärke beider Technologien, tiefes Lernen und geometrisches Schließen, vereinen und eine hohe Robustheit sowie hohes Erklärbarkeitspotential (im Gegensatz zu „End-to-End Learning“) besitzen.

Partners

Gilles Simon, INRIA Nancy, Team MAGRIT

Sponsors

Federal Ministry of Education and Research (BMBF)

01IS20077

Federal Ministry of Education and Research (BMBF)

Share project:

Contact Person
Prof. Dr. Didier Stricker
Prof. Dr. Didier Stricker

Keyfacts

Publications about the project

Yaxu Xie, Fangwen Shu, Alain Pagani, Jason Raphael Rambach, Didier Stricker

In: British Machine Vision Conference. British Machine Vision Conference (BMVC-2021) November 22-25 United Kingdom British Machine Vision Conference 11/2021.

To the publication
Yaxu Xie, Fangwen Shu, Alain Pagani, Didier Stricker

In: Winter Conference on Applications of Computer Vision. IEEE Winter Conference on Applications of Computer Vision (WACV-2021) January 5-9 Waikoloa Hawaii United States IEEE/CVF 2021.

To the publication
Yaxu Xie, Jason Raphael Rambach, Fangwen Shu, Didier Stricker

In: IEEE International Conference on Robotics and Automation. IEEE International Conference on Robotics and Automation (ICRA-2021) May 30-June 5 Xi'an China IEEE 2021.

To the publication

German Research Center for Artificial Intelligence
Deutsches Forschungszentrum für Künstliche Intelligenz