Point and speak : Design und Evaluation einer mobilen multimodalen Interaktionstechnik zur orts- und orientierungsbezogenen Serviceauswahl

Abstract

Die rasche technologische Entwicklung im Bereich mobiler Geräte ermöglicht viele neue interessante Anwendungen. Die Diplomarbeit "Point and Speak" erweitert das Interaktionskonzept "Point-to-Discover" (p2d), das vom Forschungszentrum Telekommunikation Wien (ftw.) entwickelt wird, um ein Sprachdialogsystem. P2d erlaubt es Benutzern mit ihrem Handy auf digitale Informationen zuzugreifen, die mit physischen Objekten der unmittelbaren Umgebung verknüpft sind. Dies wird technisch durch integrierte Sensoren (GPS und elektronischer Kompass) und 3D-Modelle der Umgebung ermöglicht. Ausgehend von einer Anforderungsanalyse, in der die zukünftigen Benutzer eingebunden wurden, wurde sowohl eine rein sprachliche Benutzerschnittstelle, als auch eine multimodale Benutzerschnittstelle entworfen. Bei der Implementierung handelte es sich um eingebettete Sprachein- und ausgabe, bei der die gesamte Verarbeitung am mobilen Gerät erfolgte. Eingebettete ASR (automatische Spracherkennung) und TTS (Sprachsynthese) wurde mit Komponenten des Projektes p2d kombiniert, wie etwa dem bereits entwickelten Sensorboard. Mit den Prototypen wurde eine abschließende Benutzerevaluierung durchgeführt. Das sprachliche Interface wurde von den Testpersonen als vielversprechende Alternative zu den bisherigen Interaktionsmöglichkeiten charakterisiert.<br />

The rapid technological development of mobile devices enables a wide range of new interesting applications. The diploma thesis "Point and Speak" expands the interaction concept of "Point-to-Discover" (p2d), with a speech interface. p2d, which has been developed at the Telecommunication Research Center Vienna (ftw.), facilitates the access to digital information related to objects in the closest surrounding via a cell phone. This is realized by sensors attached to the mobile phone, namely GPS and digital compass, as well as 3D environmental models. Departing from a user-based requirements analysis, a speech-only and a multimodal interface have been designed and developed. An embedded speech application was implemented, facilitating all speech processing on the mobile device. The developed ASR (Automatic-Speech-Recognition) and TTS (Text-To-Speech) software was combined with components p2d, for instance the developed sensor board. A concluding user evaluation with the prototypes was carried out. The speech interface was accepted by the users as a promising alternative to the traditional interaction possibilities.