BMWi - Halle 9, Stand B47

 

Mit traditionellen Benutzeroberflächen können Benutzer zwar Patientendaten erkunden oder durchsuchen, aber wenn es um die Interpretation des dort angezeigten geht, bieten diese Oberflächen keine weitergehende Hilfen an. In RadSpeech werden semantische Annotationen der Bildinhalte und ein semantisches Sprach-Dialogsystem zur Verfügung gestellt, um Informationen über die erfassten Bildinhalte abfragen zu können. Der Arzt soll dabei das neue Radiologiesystem mit natürlicher Sprache und Klick-Gesten nutzen können. Konzeption und Entwicklung von RadSpeech dienen somit der Implementierung eines multimodalen Dialogsystems für den Radiologen. Die dialogbasierte semantische Bildsuche und Annotation bietet dabei die Grundlage zukünftiger computergestützter klinischer Entscheidungsfindung und Diagnose.

 

Mit RadSpeech soll die nächste Generation intelligenter, skalierbarer und benutzerfreundlicher Benutzerschnittstellen für die semantische Suche in medizinischen Bildverarbeitungsbereichen entwickelt werden. Ontologiebasierte Wissensrepräsentation wird dabei nicht nur für Bildinhalte genutzt, sondern auch für die komplexen Prozesse im Sprachverstehen und Dialogmanagement. Unter Einbeziehung von in Ontologien repräsentiertem, qualifiziertem Fachwissen können verschiedene Sichten auf medizinische Bilder (z. B. strukturelle, funktionale und krankheitsbedingte Aspekte) explizit repräsentiert und anwendbar gemacht werden.

 

Die tägliche Arbeit der Radiologen an SIEMENS Befundungsstationen für Patienten, wie sie am Universitätsklinikum Erlangen eingesetzt werden, bestimmt das Anwendungsszenario. Es geht vor allem darum, die Effizienz der medizinischen Befundung zu steigern und gleichzeitig besser strukturierte Untersuchungsberichte einschließlich semantischer Bildannotationen zu erzielen.

 

Die CeBIT-Demo „Interaktives Papier“, die im Rahmen des Forschungsprojekts Theseus MEDICO auf dem Stand des Bundesministeriums für Wirtschaft und Technologie (BMWi, Halle 9, Stand B47) präsentiert wird, zeigt eine Erweiterung der multimodalen Dialogschnittstelle. In Zusammenarbeit mit Markus Weber und Dr. Marcus Liwicki aus dem DFKI-Forschungsbereich Wissensmanagement entstand ein interaktiver Befundungsbogen für Radiologen. Mit Hilfe eines speziellen Stiftes und handschriftlichen Annotationen ist es möglich, strukturierte Befunde mit standardisierter medizinischer Terminologie zu erstellen. 

 

 

 

Siemens AG

FAU Klinikum Erlangen

 

 

Dr. Daniel Sonntag

Forschungsbereich Intelligente Benutzerschnittstellen

E-Mail: Daniel.Sonntag@dfki.de

Tel.: +49 (0)681 85775-5254

Cirius Demonstrator: Multimodale Interaktion mit semantischen Diensten und Wissensquellen

Das multimodale Dialogsystem Cirius ermöglicht den Zugriff auf Informationen, multimediale Inhalte und Services aus einer semantischen Datenbank mittels gesprochener Sprache und Gestik. An einer PHEX Multitouchkonsole oder über Smartphones können semantisch annotierte Inhalten zu Konrad Zuses Rechenmaschinen und zu Ereignissen, Organisationen, Personen abgerufen werden.

Entwickelt wurde Cirius im Rahmen des Förderprogramms THESEUS. Die Wissensbasis von Cirius ist eine Datenbank, die im THESEUS Use Case ALEXANDRIA vom Forschungspartner neofonie aufgebaut wurde. Neben Details zum Computererfinder Konrad Zuse bietet Cirius auch Informationen zu den Exponaten im THESEUS-Informationszentrum in Berlin.

Das System interpretiert die verschiedenen Eingabemodalitäten wie natürliche Sprache in gesprochener Form sowie Zeigegesten und ermöglicht zudem einen schnellen Zugriff auf semantische Dienste sowie auf die  ontologische Repräsentation der extrahierten Informationen. Diese Dienste schaffen den Zugang zu beliebigen heterogenen Informationsquellen im Web. Insbesondere die Gestensteuerung erlaubt neue Formen der Interaktion: So kann ein Bild des historischen Z3-Rechners per “Frisbee-Geste” vom Smartphone auf die Konsole “geworfen” werden und dort als Ausgangspunkt der Suche dienen. Cirius nutzt Webdienste, um weitere Bilder, Texte und Videos zu finden. Gefundene Dokumente, die mit Ortsangaben versehen sind, können sofort auf einer Karte gezeigt werden.

Den Kern des multimodalen Systems bildet eine ontologiebasierte Dialogsystemplattform (Ontology-based Dialogue Platform - ODP), die am DFKI im Rahmen des THESEUS-Programms (CTC-WP4) entwickelte wurde. Die offene Architektur der ODP gewährleistet eine flexible Einbindung und Ansteuerung von modalitätsspezifischen und benutzerseitigen Systemkomponenten einerseits sowie applikationsspezifischer Anwendungsfunktionalitäten andererseits.

ODP bietet insbesondere auch leistungsfähige Programmierschnittstellen für dialogspezifische Verarbeitungsmodule, die eine effiziente Datenrepräsentation von Wissensstrukturen und deren regelgesteuerte Verarbeitung unterstützen. Die ODP-Lösung wird durch das DFKI Spin-off SemVox GmbH vermarktet.

Das Förderprogramm THESEUS ist ein vom Bundesministerium für Wirtschaft und Technologie (BMWi) initiiertes Forschungsprogramm mit dem Ziel, eine neue internetbasierte Wissensinfrastruktur zu entwickeln, um das Wissen im Internet besser zu nutzen und zu verwerten. Im Fokus stehen semantische Technologien, die im Core Technology Cluster (CTC) entwickelt werden, um sie in konkreten Anwendungsszenarien, etwa aus den Bereichen Medizin, Business Webservices, Optimierung von Geschäftsprozessen einzusetzen und zu erproben.

 

Weitere Informationen

www.theseus-programm.de

www.ekiosk.de

www.semvox.de

 

Kontakt

Dr. Tilman Becker
Forschungsbereich Intelligente Benutzerschnittstellen
E-Mail: Tilman.Becker@dfki.de
Telefon: 0681-85775-5271

 

Bildunterschrift:

Zusammenspiel der CTC Arbeitspakete innerhalb von THESEUS Use-Case Applikationen.