Capttitude – Deep Learning für Bildtexte mit Gefühl

Bilder
Immer mehr Rechenleistung, schnellere Internetverbindungen und Social Media haben die Anzahl an medialen Inhalten im Internet in den letzten Jahren vervielfacht. Auf Instagram beispielsweise werden jeden Tag ca. 80 Millionen Bilder hochgeladen, die zum Teil betitelt sind oder deren Inhalt in Bildunterschriften, Kommentaren oder auch mit Emojis näher beschrieben und bewertet wird. Häufig kommen dabei mit Bildern assoziierte Emotionen zum Ausdruck.

Leckeres Essen, süße Tiere, atemberaubende Landschaften - um etwas kurz zu charakterisieren, wird in der Regel einem Nomen ein Adjektiv beigegeben. Diese Adjektiv-Nomen-Paare (ANP) beschreiben den visuellen Inhalt eines Bildes zusammen mit den Gefühlen, die es beim Betrachter auslöst. Treten sie mit großer Häufigkeit auf, können sie für die maschinelle Beschreibung von Bildern genutzt werden, die über eine textuelle Wiedergabe der visuellen Inhalte deutlich hinausgeht.

Capttitude (Captions with Attitude) ist ein System, das in der Lage ist, affektive Bildunterschriften mit einer emotionalen Komponente zu erzeugen. Hierbei kommen zwei verschiedene Methoden zum Einsatz, die als Ergebnis zwei Varianten einer emotionalen Bildunterschrift liefern.

Zunächst wird ein Convolutional Neural Network (CNN) mit einem Long short-term memory (LSTM) Network verwendet, um einen Satz zu erzeugen, der anschließend mit Adjektiv-Nomen-Paaren eines weiteren CNN – DeepSentiBank – modifiziert wird. In einem zweiten Ansatz wir ein Graph-basierendes Concept and Syntax Transition (CAST) Network eingesetzt. Dieser Graph wurde von Bildunterschriften aus dem YFCC100M-Datensatz, einer der größten Datensätze in der Multimedia-Forschung, erzeugt und verbindet die Konzepte (Nomen, Adjektive, Verben) miteinander. Um das Vokabular des Modells zu erweitern, wird eine Ähnlichkeitsmetrik angewendet, die Knoten semantisch ähnlicher Konzepte zusammenzufasst.

Stand: Halle 6, B48

Weitere Informationen
http://dl.dfki.de

 

Kontakt
Dr. Damian Borth
Leiter DFKI-Kompetenzzentrum Deep Learning
Smarte Daten & Wissensdienste
E-Mail: Damian.Borth@dfki.de
Tel.: +49 631 20575 4184