Projekt

TextQ

Analyse und automatische Abschätzung der Qualität maschinell generierter Texte

  • Laufzeit:

Das Forschungsvorhaben beschäftigt sich mit der wahrgenommenen Qualität von maschinell generierten Texten. Der Fokus liegt hierbei auf den beiden Texttypen maschinelle Übersetzung und maschinelle Zusammenfassung. Ziel des Projektes ist es, perzeptive Qualitätsdimensionen zu identifizieren, subjektive Methoden zu ihrer Quantifizierung bereitzustellen, automatisiert extrahierbare Parameter zu bestimmen, die mit der Textqualität korrelieren und daraus Vorhersagemodelle zu entwickeln, welche eine Schätzung der Gesamtqualität eines maschinell generierten Textes liefern können.Die Entwicklung der Vorhersagemodelle erfolgt mittels verschiedener Korpora für die deutsche und englische Sprache. Auf Basis dieser Korpora werden für die Qualitätsschätzung relevante Dimensionen bestimmt und in Probandentests (durch Crowdsourcing und im Labor) überprüft. Für jede identifizierte Qualitätsdimension werden relevante Textparameter automatisiert aus den Texten extrahiert, und diese mit den subjektiven Dimensionsbewertungen korreliert. Auf Basis der Parameter werden Vorhersagemodelle für beide Texttypen erstellt, sowohl für einzelne Qualitätsdimensionen wie auch für die Gesamtqualität, und bezüglich der Unterschiede zwischen den Texttypen analysiert. Abschließend werden diese Vorhersagemodelle in einer unabhängigen Testreihe auf ihre Generalisierbarkeit getestet.

Projekt teilen auf:

Ansprechpartner
Prof. Dr.-Ing. Sebastian Möller
Prof. Dr.-Ing. Sebastian Möller

Keyfacts

Publikationen zum Projekt

Shushen Manakhimova, Eleftherios Avramidis, Vivien Macketanz, Sebastian Möller

In: Proceedings of the Sixth Conference on Machine Translation. Conference on Machine Translation (WMT-2021) Online Association for Computational Linguistics 11/2021.

Zur Publikation

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence