Project

TextQ

Analyse und automatische Abschätzung der Qualität maschinell generierter Texte

  • Duration:

Das Forschungsvorhaben beschäftigt sich mit der wahrgenommenen Qualität von maschinell generierten Texten. Der Fokus liegt hierbei auf den beiden Texttypen maschinelle Übersetzung und maschinelle Zusammenfassung. Ziel des Projektes ist es, perzeptive Qualitätsdimensionen zu identifizieren, subjektive Methoden zu ihrer Quantifizierung bereitzustellen, automatisiert extrahierbare Parameter zu bestimmen, die mit der Textqualität korrelieren und daraus Vorhersagemodelle zu entwickeln, welche eine Schätzung der Gesamtqualität eines maschinell generierten Textes liefern können.Die Entwicklung der Vorhersagemodelle erfolgt mittels verschiedener Korpora für die deutsche und englische Sprache. Auf Basis dieser Korpora werden für die Qualitätsschätzung relevante Dimensionen bestimmt und in Probandentests (durch Crowdsourcing und im Labor) überprüft. Für jede identifizierte Qualitätsdimension werden relevante Textparameter automatisiert aus den Texten extrahiert, und diese mit den subjektiven Dimensionsbewertungen korreliert. Auf Basis der Parameter werden Vorhersagemodelle für beide Texttypen erstellt, sowohl für einzelne Qualitätsdimensionen wie auch für die Gesamtqualität, und bezüglich der Unterschiede zwischen den Texttypen analysiert. Abschließend werden diese Vorhersagemodelle in einer unabhängigen Testreihe auf ihre Generalisierbarkeit getestet.

Sponsors

DFG - German Research Foundation

MO 1038/31-1, 436813723

DFG - German Research Foundation

Share project:

Publications about the project

Tarun Bhatia; Martin Krämer; Eduardo Vellasquez; Eleftherios Avramidis

In: Proceedings of the 19th Machine Translation Summit. Machine Translation Summit (MT Summit-2023), September 4-8, Macau SAR, China, Pages 72-83, Vol. 1: Research Track, Asia-Pacific Association for Machine Translation (AAMT), 9/2023.

To the publication

Eleftherios Avramidis; Vivien Macketanz

In: Proceedings of the Seventh Conference on Machine Translation. Conference on Machine Translation (WMT-2022), December 7-8, Abu Dhabi, United Arab Emirates, Association for Computational Linguistics, 12/2022.

To the publication

Markus Freitag; Ricardo Rei; Nitika Mathur; Chi-kiu Lo; Craig Stewart; Eleftherios Avramidis; Tom Kocmi; George Foster; Alon Lavie; André F. T. Martins

In: Proceedings of the Seventh Conference on Machine Translation. Conference on Machine Translation (WMT), December 7-8, Abu Dhabi, United Arab Emirates, Pages 46-68, Association for Computational Linguistics, 12/2022.

To the publication

German Research Center for Artificial Intelligence
Deutsches Forschungszentrum für Künstliche Intelligenz