A vision-based system for fingertip detection on tracked interactive surfaces

Abstract

Ein wesentlicher Trend der Mensch-Computer-Interaktion der letzten Jahre beschäftigt sich mit der Entwicklung berührungsempfindlicher Interaktionsflächen zur simultanen Benützung durch mehrere Anwender. Ein Forschungsschwerpunkt liegt hierbei auf dem Aufbau einer Schnittstelle, die den Benutzern die direkte Manipulation von digitalen Inhalten ermöglichen soll. Wichtig sind hierfür das Design der interaktiven Oberfläche selbst sowie die automatische Erkennung von Fingerspitzen die sich auf und über dieser Fläche bewegen.<br />Verbreitete Technologien zur Erkennung von Oberflächenkontakten beruhen entweder auf der optischen Ablenkung von Lichtstrahlen in einer kontrollierten Umgebung oder auf kapazitiver Oberflächentechnologie.<br />Aufgrund des für solche Techniken benötigten Hardware-Aufbaus, meist bestehend aus individuell angefertigten Komponenten, sind entsprechende Interaktionssyteme in der Regel teuer und oft auch eingeschränkt in ihrer Portabilität und Skalierbarkeit. Forscher im Bereich der "Multi-Touch"-Interaktion arbeiten daher an der Entwicklung alternativer Schnittstellen, welche einzig und allein auf herkömmlicher und kostengünstiger Video-Hardware beruhen. Zur Erkennung von Fingerspitzen auf meist natürlichen Oberflächen bedient man sich Algorithmen des Maschinellen Sehens.<br />Diese Arbeit widmet sich zunächst der Beschreibung, Diskussion und Evaluierung gängiger berührungsempfindlicher Oberflächentechnologien sowie relevanten Ansätzen beruhend auf Maschinellem Sehen. Das Hauptaugenmerk liegt dann auf der Auswahl geeigneter Bildverarbeitungs- und Mustererkennungsalgorithmen und der Entwicklung einer einfachen Software-Applikation zum Tracking einer rechteckigen, bewegbaren Oberfläche sowie zur Erkennung von Fingerspitzen die sich über diese Fläche hinweg bewegen. Die Arbeit wird abgerundet durch die Präsentation empirischer Resultate bezüglich des Erkennens von rechteckigen Flächen sowie Fingerspitzen in einem natürlichen Innenraum anhand visueller Bildinformation.<br />

Multi-touch sensing on interactive tabletops and other flat surfaces has become a major trend in the field of human-computer interaction over the past years. The main objective is to provide a touch interface for the direct manipulation of digital content by multiple users at the same time. Within these terms the appropriate design of the interactive surface as well as the automatic detection and tracking of fingertips are crucial.<br />Popular techniques for fingertip and touch detection use specific contact-sensitive computer hardware that is either relying on optical sensing in a controlled environment or capacitive surface technology.<br />Since such hardware is usually custom-made, those interaction systems are mostly expensive, inconvenient to move, install and operate and not scalable. To overcome these drawbacks, a number of multi-touch researchers strive for alternative techniques to provide more adjustable interfaces. Here, everyday surfaces shall be augmented with the functionality of touch-based user interfaces, while using none but off-the-shelf and affordable vision hardware and relying on state-of-the-art computer vision methods and algorithms.<br />This work starts off with the description, discussion and evaluation of common surface hardware technologies as well as existing techniques based on simple video hardware. After that, a set of straightforward computer vision algorithms is selected in order to develop a stand-alone software application. The application is capable of continuously tracking a rectangular surface as well as detecting multiple fingertips that hover above its top. This work is concluded by providing relevant empirical results on computer vision-based rectangle and fingertip detection in natural indoor environments.