MINT - a framework for the design and development of multimodal interaction on multi-touch surfaces

Abstract

In vergangenen Jahren schaffte die Multi-Touch-Technologie den Durchbruch sowohl in der Forschung als auch in der Unterhaltungselektronik. Diese Entwicklung wurde vor allem dadurch vorangetrieben, dass immer mehr Endgeräte auf den Markt gebracht werden, die mit dieser Technologie ausgestattet sind. Im Vergleich zur gängigen Bedienung mit einer Maus, bieten Multi-Touch-Oberflächen neue und vielfältigere Möglichkeiten der Mensch-Maschine-Interaktion. Benutzer können eine Anwendung steuern, indem sie die Oberfläche des Bildschirms mit ihren Fingern berühren. Dies ermöglicht eine intuitive und natürliche Art der Steuerung, weshalb diese Oberflächen auch Natural User Interfaces (NUI) genannt werden.<br />Mittlerweile wurden bereits viele Frameworks entwickelt, um das Programmieren von Anwendungen für multi-touch-fähige Geräte zu erleichtern. All diese Frameworks stellen eine Menge gängiger Gestensteuerungen für die sofortige Verwendung in eigenen Applikationen bereit. Ein gemeinsamer Schwachpunkt ist jedoch ihre mangelnde Flexibilität bei der Erstellung eigener und der Erweiterung bestehender Gesten, sowie deren Wiederverwendbarkeit in anderen Anwendungen.<br />Daher sollen in dieser Arbeit neuartige Methoden zur Generalisierung komplexer Interaktionstechniken für Multi-Touch-Oberflächen entwickelt werden, um diese modular und auf hoher Abstraktionsebene definieren zu können. In weitere Folge lässt sich dadurch die Interaktionslogik und interaktionsrelevante Datenverarbeitung einer Anwendung auslagern, was eine applikationsübergreifende Wiederverwendbarkeit von Interaktionstechniken ermöglicht. Des Weiteren können Interaktionen dadurch einfach angepasst und ausgetauscht werden, ohne dabei die Applikation selbst ändern zu müssen.<br />

In recent years, multi-touch technology has had its breakthrough in research as well as in consumer electronics. This development was mainly driven by multi-touch enabled devices entering the mass market.<br />Compared to conventional single-pointer interaction using a mouse, multi- touch surfaces allow for much richer and more diverse ways of Human-Computer Interaction (HCI). Users can interact with an application in a direct and natural way using their fingers or whole hands to touch the surface, hence the term natural user interfaces (NUI).<br />To support the development of applications for multi-touch devices a lot of different software frameworks have emerged to assist developers in the process. Although all of these frameworks provide a set of well-known and ready-to-use gestures, they lack flexibility concerning the definition and extensibility of gestures as well as reusability in different application scenarios.<br />The goal of this work is to overcome those shortcomings and develop methods for the generalization of multi-touch interactions to allow a modular definition of gestures at a high level of abstraction. This enables to decouple the logic of the interaction relevant parts of an application completely from the application's run-time logic and use interaction techniques in a platform and application independent manner.<br />Therefore, different gestures can easily be interchanged and modified without having to change the application itself.<br />