Forschungsprojekt
SpeechEval - Automatische Evaluierung interaktiver Sprachdienste auf Basis erlernter Benutzermodelle.
Im Projekt SpeechEval soll ein neuer Weg beschritten werden, um Qualität und Gebrauchstauglichkeit mit nur minimalem Einsatz von Versuchspersonen zu quantifizieren, so dass schon in der Designphase entsprechende Tests durchgeführt werden können. Das Ziel ist die Erstellung einer Simulationsumgebung, die eine semiautomatische Evaluation von Dialogsystemen nach den o. g. Aspekten erlaubt. Hierzu werden statistische Verfahren untersucht, die die Simulation von Benutzerverhalten ermöglichen, wobei die Kriterien für deren Tauglichkeit sowohl die Qualität der Simulation als auch die Anwendbarkeit der Methode im gegebenen Kontext umfassen. Die Validierung der Simulationsergebnisse wird an realen Sprachdialog-systemen vorgenommen, die aus dem Umfeld der Deutschen Telekom AG stammen.
Kontakt
Ansprechpartner:
Dr. Norbert Reithinger
Projektleitung:
Dr. Norbert Reithinger
Beteiligte Forschungsbereiche
Publikationen
- 2011
- Tatjana Scheffler; Roland Roller; Norbert Reithinger
SpeechEval: A Domain-Independent User Simulation Platform for Spoken Dialog System Evaluation.
In: Ramon Lopez-Cozar Delgado; Tetsunori Kobayashi (Hrsg.). Proceedings of the Paralinguistic Information and its Integration in Spoken Dialogue Systems Workshop. International Workshop On Spoken Dialogue Systems Technology (IWSDS-11), September 1-3, Granada, Spain, Pages 295-300, ISBN 978-1-4614-1334-9, Springer, 2011. - Roland Roller; Tatjana Scheffler; Norbert Reithinger
Human-Machine Corpus Analysis for Generation and Interaction with Spoken Dialog Systems.
In: Joscha Bach; Stefan Edelkamp (Hrsg.). KI 2011: Advances in Artificial Intelligence. German Conference on Artificial Intelligence (KI-2011), October 4-7, Berlin, Germany, Pages 272-276, Lecture Notes in Artificial Intelligence (LNAI), Vol. 7006, ISBN 978-3-642-24454-4, Springer, 2011.
- 2010
- Jana Götze; Tatjana Scheffler; Roland Roller; Norbert Reithinger
User Simulation for the Evaluation of Bus Information Systems.
In: Proceedings of 2010 IEEE Workshop on Spoken Language Technology. IEEE Workshop on Spoken Language Technology (SLT-2010), December 12-15, Berkeley, CA, United States, Pages 454-459, IEEE, 2010.
- 2009
- Tatjana Scheffler; Roland Roller; Norbert Reithinger
SpeechEval - Evaluating Spoken Dialog Systems by User Simulation.
In: Arne Jönsson; Jan Alexandersson; David Traum; Ingrid Zukerman (Hrsg.). Proceedings of the 6th IJCAI Workshop on Knowledge and Reasoning in Practical Dialogue Systems. IJCAI Workshop on Knowledge and Reasoning in Practical Dialogue Systems (KRPD-09), located at IJCAI 2009, July 12, Pasadena, CA, United States, Pages 93-98, IJCAI 2009, 2009. - Tatjana Scheffler; Roland Roller; Norbert Reithinger
Semi-Automatic Creation of Resources for Spoken Dialog Systems.
In: B. Mertsching; M. Hund; Z. Aziz (Hrsg.). KI 2009: Advances in Artificial Intelligence. German Conference on Artificial Intelligence (KI-2009), 32nd Annual Conference on Artificial Intelligence, September 15-18, Paderborn, Germany, Pages 209-216, Lecture Notes in Artificial Intelligence (LNAI), Vol. 5803, Springer, 2009. - Sebastian Möller; Robert Schleicher; Dmitry Butenkov; Klaus-Peter Engelbrecht; Florian Gödde; Tatjana Scheffler; Roland Roller; Norbert Reithinger
Usability Engineering for Spoken Dialog Systems via Statistical User Models.
In: First International Workshop on Spoken Dialogue Systems Technology. International Workshop On Spoken Dialogue Systems Technology (IWSDS-2009), December 9-11, Kloster Irsee, Germany, n/a, 2009.