Forschungsgruppe Multimedia Analysis & Data Mining
Smart Video Buddy: Der intelligente Videoassistent
Smart Video Buddy erkennt und versteht automatisch Inhalte von Filmen, analysiert das laufende Video-Programm und erkennt in Echtzeit Sportarten wie Fußball oder Basketball als Konzepte. Das System verbindet das analysierte Video mit anderen Inhalten und schlägt thematisch verwandte Clips oder Sendungen vor, ein adaptiver News-Feed kann abgerufen werden, passende Produkte zum laufenden Video werden empfohlen. Der intelligente Assistent erweitert und vernetzt Videoströme und macht sie “smarter“.
Videobestände – seien es TV-Archive oder private Videosammlungen –verzeichnen weltweit ein rapides Wachstum. Nicht zuletzt dank des Durchbruchs von Web-Videoportalen wie YouTube findet eine rasante Entwicklung statt, von passivem TV-Konsum hin zu personalisierten Video-Feeds und mehr Benutzerinteraktion.
Während für andere Medien, z.B. für Texte, effiziente Indexierungs- und Suchstrategien existieren, stellt das Management von Video-Inhalten weiterhin eine Herausforderung dar: Bedeutende Informationen sind mangels Verschlagwortung oder Tagging nicht auffindbar, und die Vernetzung von Inhalten gestaltet sich schwierig. Den Grund hierfür bezeichnen Forscher als Semantische Lücke zwischen den Bits und Bytes des Videostroms auf der einen und der semantischen Interpretation des Benutzers auf der anderen Seite.
Am DFKI wurden in der Forschungsgruppe Multimedia-Analyse und Data Mining technologische Ansätze zum Automatischen Verstehen von Videoinhalten entwickelt. Durch eine statistische Analyse des Videos werden automatisch Objekte, Orte, und Tätigkeiten, z.B. “Eiffelturm”, “Strand”, oder “Fußball”, erkannt. Merkmale zur Beschreibung der Farbe, Textur, und Bewegung einer Szene werden extrahiert und anhand statistischer Lernverfahren untersucht. Das System ermittelt somit Auftrittswahrscheinlichkeiten für die verschiedensten semantischen Inhalte.
Anwendungsszenarien
Dieser Ansatz eröffnet eine Reihe von interessanten Anwendungsfeldern:
• Suche: Eine Kernanwendung ist die Suche in Video-Datenbanken. Nach Eingabe eines Schlüsselworts, z.B. “Fußball”, findet das System korrespondierende Szenen – ganz ohne vorherige manuelle Indexierung.
• Vernetzung und Werbung: Das automatische Verstehen von Konzepten in einer laufenden Video-Szene ermöglicht die Ableitung von Benutzerinteresse. So lassen sich intelligente Techniken entwickeln, die “on the fly”, also während der Betrachtung, Empfehlungen zu anderen Videos, Web-Inhalten, oder Werbespots ableiten.
• Content Filtering: Eine weitere Anwendung ist das Aufspüren und Filtern anstößiger oder gar illegaler Inhalte, wie Gewaltszenen oder Pornographie.
Weitere Informationen und Systemdemonstration
http://madm.dfki.de/smartvideobuddy
Kontakt
Dr. Adrian Ulges
Forschungsgruppe Multimedia-Analyse und Datamining
Tel. +49 (0)631 20575-419
E-Mail: Adrian.Ulges@dfki.de