Projekt

CORA4NLP

Ko(n)textuelles Schließen und Anpassung an den Kontext bei der Verarbeitung natürlicher Sprache

Ko(n)textuelles Schließen und Anpassung an den Kontext bei der Verarbeitung natürlicher Sprache

  • Laufzeit:
  • Anwendungsfelder
    Sonstige

Sprache ist implizit - sie lässt Informationen aus. Um diese Informationslücke zu füllen, sind kontextabhängige Inferenz, Hintergrund- und Allgemeinwissen sowie Schlussfolgerungen über den situativen Kontext erforderlich. Zudem entwickelt sich Sprache weiter, d.h. sie spezialisiert und verändert sich im Laufe der Zeit. Zum Beispiel gibt es viele verschiedene Sprachen und Domänen, neue Domänen entstehen, und beides entwickelt sich ständig weiter. Daher erfordert Sprachverständnis auch eine kontinuierliche und effiziente Anpassung an neue Sprachen und Domänen und den Transfer zu und zwischen beiden. Aktuelle sprachtechnologische Methoden des Sprachverstehens konzentrieren sich jedoch auf ressourcenreiche Sprachen und Domänen, verwenden wenig bis keinen Kontext und gehen von statischen Daten-, Aufgaben- und Zielverteilungen aus.

Die Forschung in Cora4NLP adressiert diese Herausforderungen.. Sie baut auf der Expertise und den Ergebnissen des Vorgängerprojekts DEEPLEE auf und wird gemeinsam von den sprachtechnologischen Forschungsabteilungen in Berlin und Saarbrücken durchgeführt. Konkret ist es unser Ziel, Methoden des natürlicher Sprachverstehens zu entwickeln, die folgendes ermöglichen:

  • Schlussfolgerungen über breitere Ko- und Kontexte;
  • effiziente Anpassung an neuartige und/oder ressourcenarme Kontexte;
  • kontinuierliche Anpassung an und Generalisierung über sich verändernde Kontexte.

Um dies zu erreichen, verfolgen wir die folgenden Forschungsrichtungen:

  • Speicher- und sprachmodellbasiertes few- und zero-shot learning;
  • Selbst- und schwach-überwachtes Pre-Training für ressourcenarme Domänen und Long-Tail-Klassen;
  • mehrsprachige, Intra- und Inter-Dokument-, sowie Dialog-Kontext-Repräsentationen;
  • Integration von strukturiertem Domänenwissen, Hintergrund- und Allgemeinwissen;
  • Kontinuierliches Lernen für Open-Domain- und überwachte Aufgaben;
  • multi-hop kontextuelles Schlussfolgern.

Die resultierenden Methoden werden im Kontext verschiedener Aufgaben zum Verstehen natürlicher Sprache angewendet, wie z.B. Informationsextraktion, Fragebeantwortung, maschinelle Übersetzung und Dialog.

Fördergeber

BMBF - Bundesministerium für Bildung und Forschung

01IW20010

BMBF - Bundesministerium für Bildung und Forschung

Projekt teilen auf:

Kontakt

Publikationen zum Projekt

Pasquale Minervini, David Chang, Pontus Stenetorp, Saadullah Amin, Günter Neumann

In: Proceedings of the 29th International Conference on Computational Linguistics. International Conference on Computational Linguistics (COLING-2022) befindet sich 29th International Conference on Computational Linguistics October 12-17 Gyeongju South Korea International Committee on Computational Linguistics (ICCL) 10/2022.

Zur Publikation
Joseph Renner, Priyansh Trivedi, Tatiana Anikina, Natalia Skachkova

In: Juntao Yu, Sopan Khosla, Ramesh Manuvinakurike, Lori Levin, Vincent Ng, Massimo Poesio, Michael Strube, Carolyn Rose (Hrsg.). Proceedings of the CODI-CRAC 2022 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC-2022) befindet sich COLING October 16-17 Gyeongju South Korea Seiten 15-27 Association for Computational Linguistics 10/2022.

Zur Publikation
Christoph Alt, David Harbecke, Yuxuan Chen, Leonhard Hennig

In: Proceedings of the 1st Workshop on Efficient Benchmarking in NLP. Annual Meeting of the Association for Computational Linguistics (ACL-2022) May 22-27 Dublin Ireland Association for Computational Linguistics 5/2022.

Zur Publikation

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence