Model-based automatic IO device selection for ambient environments

Abstract

Active and Assisted Living (AAL) versucht älteren Menschen und Personen mit speziellen Bedürfnissen maßgeschneiderte Dienste anzubieten, die ihnen das Leben in ihrem Zuhause erleichtern und zu einer höheren Lebensqualität beitragen. Dazu werden Technologien aus den Bereichen Sensorik, verteilte und mobile Computersysteme und künstlicher Intelligenz miteinander kombiniert, um die aktuelle Situation einer Umgebung zu analysieren und mittels adaptiver Software darauf einzugehen. Das Projekt AALuis - Ambient Assisted Living user interfaces bietet seinen Benutzern, vorrangig älteren Menschen die zu Hause leben, verschiedene elektronische Dienste im Gesundheitsbereich mit barrierefreien User Interfaces an. In AALuis ist es möglich, jedes User Interface für eine Interaktion mit den Services in verschiedenen Modalitäten zu erzeugen, abhängig davon, welche Geräte dem Benutzer gerade zur Verfügung stehen und welche Möglichkeiten von ihnen unterstützt werden. Dafür werden die User Interfaces zuerst abstrakt definiert und erst dann konkret umgesetzt, wenn eine zu verwendende Modalität dafür festgelegt wurde. Das Ziel dieser Arbeit ist die Definition und Umsetzung eines modellbasierten Selektionsmechanismus für die Benutzerinteraktion mit AAL Services über AALuis. Für die Auswahl sollen zahlreiche Entscheidungskriterien, wie ein Benutzerprofil, die Verfügbarkeit von Geräten und Sensordaten, wie zum Beispiel Umgebungslärm, herangezogen werden. Aufgrund der Komplexität und Variabilität eines solchen Systems, ist ein modellbasierter Ansatz effizienter als die Entwicklung eines hoch spezialisierten Algorithmus. Nachdem AALuis die User Interfaces unabhängig vom verwendeten Gerät für viele verschiedene Modalitäten generieren kann, soll es möglich sein, das System einfach um neue Geräte und Modalitäten zu erweitern, um auch technische Neuentwicklungen oder spezielle Bedürfnisse der Benutzer zu unterstützen. Der Selektionmechanismus wird als Java Programm, das Inferenz auf dem entwickelten Modell durchführt, umgesetzt, um die Integration in AALuis vorzubereiten. Diese Arbeit geht zunächst auf die Grundlagen des Bereichs AAL ein und beleuchtet die vielen technologischen Facetten, die einen Einfluss darauf haben. Probabilistische graphische Modelle, genauer gesagt Bayes'sche Netzwerke, wurden zur Modellierung des Selektionsproblems gewählt. Ihre Funktionsweise wird detailliert erklärt und das entwickelte Modell beschrieben. Dadurch wird der Aufbau und Funktionsumfang der entwickelten Software erläutert und die Ergebnisse des modellbasierten Selektionsmechanismus präsentiert und diskutiert. Als Eingabegröße für den Selektionsmechanismus dient die modellierte Kontextinformation betreffend den Benutzer, die vorhandenen Geräte und deren Eigenschaften, sowie Sensordaten die die Umgebung beschreiben. Ausgegeben wird diejenige Kombination aus Gerät und Modalität, die in der aktuellen Situation am besten geeignet ist die Ausgabeinformation zu transportieren. In Szenarien wurde gezeigt, dass die Ergebnisse in den beschriebenen Situationen sowohl plausibel sind, als auch in einer nachvollziehbaren Art und Weise auf Veränderungen des Kontext reagieren. Die Laufzeit des Selektionsmechanismus liegt auch in einem großen Beispielszenario, bestehend aus vielen möglichen Geräten, Modalitäten und Sensoren, mit im Durchschnitt 59,934 ms in einem Bereich, der keine störende Verzögerung der Ausgabe der Services nach sich zieht. Dies lässt den Schluss zu, dass das entwickelte Modell geeignet ist die Selektion von Gerät und Modalität in AALuis zufriedenstellend zu erfüllen.

Active and Assisted Living (AAL) aims to provide older adults and persons with special needs with customized services, to ease their lives at home and raise their quality of life. For this purpose, sensor technology, pervasive and mobile computing and artificial intelligence are combined, to analyze the current situation surrounding a system and respond in the form of adaptive software. The project AALuis - Ambient Assisted Living user interfaces deals with the task of providing different health and comfort services to users, mainly older adults in their homes, with a focus on accessible user interfaces. Interaction with these services is possible using different devices and facilitating a variety of modalities for input and output. The possibilities depend on the devices available to the user and the modalities those devices support. Goal of this thesis is the definition and implementation of a model-based selection system of the best device and modality for user interaction with an AAL service, based on various factors of influence, including a user profile, the available devices, and sensor information, like ambient noise. Due to the complexity and variability of such a system, a model-based approach is more efficient than the development of a highly specialized algorithm. Based on the dynamic nature of the process of User Interface (UI) generation in AALuis and the ongoing development of new in- and output devices, this model has to be easily adaptable to new devices and, subsequently, previously not accounted for modalities. For the selection mechanism, a Java software component, using the model for inference, has to be developed, as a preliminary step for the integration in AALuis. This thesis first introduces the background of the technologies involved in AAL and the state of the art of sensor technology and adaptive software. Probabilistic graphical models, specifically Bayesian Networks, were chosen as a modeling technique for the solution of the selection problem. It is explained in detail before the process of developing the model is described. Subsequently, the structure and functionality of the created software components are given and the results of the model-based selection mechanism are presented and discussed. Context information regarding the user, the available devices and their properties, as well as data acquired from sensors constitute the modeled input parameters of the selection mechanism. The output is a combination of device and modality, which is best suited given the current situation to convey the output to the user. Using scenarios, it could be shown that the results, given the described situations are plausible and respond in a comprehensible way to changes in context. The run-time of the selection mechanism, even for a large example, including a large number of possible devices, modalities and sensors, averages at 59.934 ms, and is therefore in a range that does not entail a disruptive delay in the execution of services. It can therefore be concluded that the proposed solution is able to perform the Model-based Automatic IO Device and Modality Selection for AALuis in a satisfactory way.