SentiBank – Deep Learning für Visuelle Sentiment-Analyse auf 100 Millionen Bildern

Bilder
Deep Learning ist derzeit eines der spannendsten Themen des Maschinellen Lernens. Insbesondere im Bereich der visuellen Erkennung von Konzepten und von Objekten stellt es den erfolgreichsten Ansatz dar. Ein neuer Aspekt in diesem Bereich ist das Erkennen von Emotionen und Stimmungen aus Bildern. Denn visuelle Inhalte stellen nicht nur Gegenstände, Personen oder Orte dar, sondern beeinflussen auch unsere Empfindungen und Gefühle. Sie erzeugen sogenannte Stimmungsbilder. Diese sind sehr nützlich, um Inhalte von Videos und Fotos über semantische Konzepte hinaus zu verstehen und damit die Nutzung großer digitaler Datensätze für ihre Anwender deutlich zu verbessern.

Die Wissenschaftler im Projekt SentiBank verfolgen einen neuen Ansatz zur Sentiment-Analyse, der auf dem semantischen Verständnis visueller Inhalte beruht. Dazu entwickeln sie eine datengetriebene Ontologie semantischer Konzepte, die einen emotionalen Bezug haben, ein starkes Gefühl auslösen und häufig in Internetplattformen wie Flickr oder YouTube verwendet werden. Derzeit enthält die Ontologie mehr als 30.000 Konzepte, die als Adjektiv-Nomen Paare repräsentiert werden, zum Beispiel „schöner Himmel“ oder „traurige Augen“.

Die visuelle Sentiment-Analyse in SentiBank basiert auf Deep Convolutional Neural Networks (CNN). Dank des Trainings – überwachtes maschinelles Lernen – auf einem der größten Datensätze in der Computer Vision und Multimedia Forschung, dem Yahoo Flickr Creative Commons 100 Million (YFCC100m), können wir so den "schönen" Teilausschnitt einer "schönen Landschaft" oder den "beängstigenden" Teilausschnitt eines "beängstigenden Hundes" sehen. Die Zuweisung einer Abbildung zu einer Emotion erfolgt auf der Basis des emotionstheoretischen Konzepts von Robert Plutchik, das 24 emotionale Zustände unterscheidet. Für jede der 24 Emotionen findet SentiBank Bilder oder Videos aus öffentlich zugänglichen Quellen wie Flickr oder YouTube.

Mit SentiBank können vielfältige weitere Szenarien implementiert werden, beispielsweise Konzepterkenner, die eine Stimmungsbildanalyse von Fotos aus Twitter durchführen oder die spezifische Schaltung von Werbeanzeigen für Videos aus YouTube verbessern.

Erste Experimente mit 2.000 realen Fototweets aus Twitter zeigen, dass dieser Ansatz die Vorhersagegenauigkeit um 13 % gegenüber rein textbasierten Methoden verbessert. Sentibank stellt seine Konzeptontologie, Erkennungsbibliothek sowie die Benchmark zur visuellen Sentiment-Analyse open source zur Verfügung.

Partner des DFKI-Kompetenzzentrums Multimedia Analyse und Data Mining (MADM) im Projekt SentiBank ist das Department of Electrical Engineering der Columbia Universität, New York.

 

Weitere Informationen
www.sentibank.org

 

Kontakt
Dr. Damian Borth
Leiter Kompetenzzentrum Multimedia Analyse und Data Mining (MADM)
Forschungsbereich Wissensmanagement
E-Mail: Damian.Borth@dfki.de
Tel.: +49 631 20575 4184