Projekt

IMPRESS

Verbesserte Wort- und Satzeinbettung mithilfe semantischen Wissens

Verbesserte Wort- und Satzeinbettung mithilfe semantischen Wissens

  • Laufzeit:
  • Anwendungsfelder
    Sonstige

Die meisten sprachverarbeitenden Systeme verwenden heutzutage Vektordarstellungen von Wörtern und Sätzen, sogenannte Wort- und Satzeinbettungen. Das Ziel hierbei ist eine abstrakte Darstellung der Semantik bei gleichzeitiger Dimensionsreduktion zu erhalten. Bei der Verarbeitung von Sprache in Kombination mit Sehen oder anderen sensorischen Modalitäten werden in ähnlicher Weise multimodale Einbettungen verwendet. Zwar verkörpern Einbettungen eine Form semantischer Verwandtschaft, doch deren Natur wird nicht expliziert. Das Fehlen präziser semantischer Deutlichkeit kann sich negativ auf nachgelagerte Verarbeitung auswirken.

IMPRESS untersucht die Integration von semantischem Wissen in sprachliche und multimodale Einbettungen und die erwarteten Verbesserungen für ausgewählte nachgelagerte Sprachverarbeitung. IMPRESS entwickelt Open-Source-Software und lexikalische Ressourcen, wobei der Schwerpunkt auf Videoaktivitätserkennung als praktische Anwendung liegt. Die meisten Forschungsarbeiten zu multimodalen Einbettungen verwenden Englisch als sprachliche Modalität. IMPRESS wird zusätzlich Französisch und Deutsch aufnehmen.

Partner

  1. DFKI 2. INRIA

Fördergeber


01IS20076

Projekt teilen auf:

Ansprechpartner
Dr. Ivana Kruijff-Korbayová

Publikationen zum Projekt

Sharmila Upadhyaya, Siyu Tao, Natalia Skachkova, Tatiana Anikina, Cennet Oguz, Ivana Kruijff-Korbayová

In: Sopan Khosla , Ramesh Manuvinakurike , Vincent Ng , Massimo Poesio , Michael Strube , Carolyn Rosé (Hrsg.). Proceedings of the CODI-CRAC 2021 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC-2021) befindet sich EMNLP 2021 November 10-11 Punta Cana Dominican Republic Seiten 63-70 Association for Computational Linguistics 11/2021.

Zur Publikation
Tatiana Anikina, Cennet Oguz, Natalia Skachkova, Ivana Kruijff-Korbayová

In: Sopan Khosla , Ramesh Manuvinakurike , Vincent Ng , Massimo Poesio , Michael Strube , Carolyn Rosé (Hrsg.). Proceedings of the CODI-CRAC 2021 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC) CODI-CRAC 2021 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue befindet sich EMNLP November 10-11 Punta Cana Dominican Republic Seiten 32-42 Association for Computational Linguistics 11/2021.

Zur Publikation
Christian Theobalt, Cennet Oguz, Noshaba Cheema, Anindita Ghosh, Philipp Slusallek

In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). International Conference on Computer Vision (ICCV-2021) October 11-17 Virtual Seiten 1396-1406 IEEE 10/2021.

Zur Publikation

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence