Projekt

IMPRESS

Verbesserte Wort- und Satzeinbettung mithilfe semantischen Wissens

Verbesserte Wort- und Satzeinbettung mithilfe semantischen Wissens

  • Laufzeit:
  • Anwendungsfelder
    Sonstige

Die meisten sprachverarbeitenden Systeme verwenden heutzutage Vektordarstellungen von Wörtern und Sätzen, sogenannte Wort- und Satzeinbettungen. Das Ziel hierbei ist eine abstrakte Darstellung der Semantik bei gleichzeitiger Dimensionsreduktion zu erhalten. Bei der Verarbeitung von Sprache in Kombination mit Sehen oder anderen sensorischen Modalitäten werden in ähnlicher Weise multimodale Einbettungen verwendet. Zwar verkörpern Einbettungen eine Form semantischer Verwandtschaft, doch deren Natur wird nicht expliziert. Das Fehlen präziser semantischer Deutlichkeit kann sich negativ auf nachgelagerte Verarbeitung auswirken.

IMPRESS untersucht die Integration von semantischem Wissen in sprachliche und multimodale Einbettungen und die erwarteten Verbesserungen für ausgewählte nachgelagerte Sprachverarbeitung. IMPRESS entwickelt Open-Source-Software und lexikalische Ressourcen, wobei der Schwerpunkt auf Videoaktivitätserkennung als praktische Anwendung liegt. Die meisten Forschungsarbeiten zu multimodalen Einbettungen verwenden Englisch als sprachliche Modalität. IMPRESS wird zusätzlich Französisch und Deutsch aufnehmen.

Partner

  1. DFKI 2. INRIA

Fördergeber

BMBF - Bundesministerium für Bildung und Forschung

01IS20076

BMBF - Bundesministerium für Bildung und Forschung

Projekt teilen auf:

Kontakt

Publikationen zum Projekt

Tatiana Anikina; Natalia Skachkova; Joseph Renner; Priyansh Trivedi

In: Juntao Yu; Sopan Khosla; Ramesh Manuvinakurike; Lori Levin; Vincent Ng; Massimo Poesio; Michael Strube; Carolyn Rose (Hrsg.). Proceedings of the CODI-CRAC 2022 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC-2022), located at COLING, October 16-17, Gyeongju, Korea, Republic of, Pages 15-27, Association for Computational Linguistics, 10/2022.

Zur Publikation

Natalia Skachkova; Tatiana Anikina; Cennet Oguz; Ivana Kruijff-Korbayová; Sharmila Upadhyaya; Siyu Tao

In: Sopan Khosla; Ramesh Manuvinakurike; Vincent Ng; Massimo Poesio; Michael Strube; Carolyn Rosé (Hrsg.). Proceedings of the CODI-CRAC 2021 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC-2021), located at EMNLP 2021, November 10-11, Punta Cana, Dominican Republic, Pages 63-70, Association for Computational Linguistics, 11/2021.

Zur Publikation

Tatiana Anikina; Cennet Oguz; Natalia Skachkova; Siyu Tao; Sharmila Upadhyaya; Ivana Kruijff-Korbayová

In: Sopan Khosla; Ramesh Manuvinakurike; Vincent Ng; Massimo Poesio; Michael Strube; Carolyn Rosé (Hrsg.). Proceedings of the CODI-CRAC 2021 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC), CODI-CRAC 2021 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue, located at EMNLP, November 10-11, Punta Cana, Dominican Republic, Pages 32-42, Association for Computational Linguistics, 11/2021.

Zur Publikation

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence