Technische Universität Wien A-1040 Wien ▪ Karlsplatz 13 ▪ Tel. +43-1-58801-0 ▪ www.tuwien.ac.at Erfassung sensorischer Fähigkeiten bei Kindern mit Autismus mittels Touchscreen und Berührungssensoren DIPLOMARBEIT zur Erlangung des akademischen Grades Diplom-Ingenieur im Rahmen des Studiums Medieninformatik eingereicht von Martin Riederer, BSc Matrikelnummer 0625100 an der Fakultät für Informatik der Technischen Universität Wien Betreuung Betreuer: Privatdoz. Mag. Dr. Hannes Kaufmann Mitwirkung: Univ.Ass. Dipl.-Ing. Christian Schönauer Wien, 27.11.2014 (Unterschrift Verfasser/in) (Unterschrift Betreuer/in) Die approbierte Originalversion dieser Diplom-/ Masterarbeit ist in der Hauptbibliothek der Tech- nischen Universität Wien aufgestellt und zugänglich. http://www.ub.tuwien.ac.at The approved original version of this diploma or master thesis is available at the main library of the Vienna University of Technology. http://www.ub.tuwien.ac.at/eng Seite | 2 „Hiermit erkläre ich, dass ich diese Arbeit selbständig verfasst habe, dass ich die verwendeten Quellen und Hilfsmittel vollständig angegeben habe und dass ich die Stellen der Arbeit - einschließlich Tabellen, Karten und Abbildungen -, die anderen Werken oder dem Internet im Wortlaut oder dem Sinn nach entnommen sind, auf jeden Fall unter Angabe der Quelle als Entlehnung kenntlich gemacht habe.“ Ort, Datum, Unterschrift Seite | 3 Kurzfassung Autismus ist eine weit verbreitete Entwicklungsstörung mit einer durchschnittlichen Prävalenz von weniger als 1%. Die Störungen zeigen sich vor allem durch Einschränkungen in den Bereichen Interaktion, Bewegung und Kommunikation. Aktuell forschen viele Länder und Institutionen an den Mechanismen von Autismus, um diese besser zu verstehen und dagegen Maßnahmen setzen zu können. Aktuell versuchen neue Studien einen Zusammenhang zwischen Autismus und Einschränkungen in der sensorischen und propriozeptiven Verarbeitung zu finden. In dieser Arbeit wird eine neue Methode zur Erfassung der propriozeptiven Fähigkeiten bei Kindern mit Autismus vorgestellt. Dazu wurden Messgeräte entwickelt, die Kraft- und Berührungssensoren zusammen mit günstigen Arduino- Boards und Shields kombinieren. Die so erfassten Messdaten werden drahtlos auf ein mobiles Endgerät, beispielsweise ein Smartphone oder Tablet übertragen, dort gespeichert und auch ausgewertet. Die Software-Applikation baut dabei auf einem Cross-Plattform Framework auf, um möglichst geräteunabhängig zu sein. In einem Pilottest wurden die Messgeräte mit normal entwickelten Kindern auf deren Funktionalität und Benutzbarkeit hin getestet. Zusätzlich wurden diese Geräte mit definierten Gewichten und Referenzwerten auf deren Genauigkeit und Zuverlässigkeit überprüft. In einem weiteren Schritt werden die Messgeräte von einer Psychologin für eine größere Studie bei Kindern mit Autismus angewendet. Seite | 4 Abstract Autism Spectrum Disorder (ASD) is a pervasive developmental disorder with an average prevalence of less than one percent. It is characterized by impairments in social, communication and behavioral skills. Many countries prioritize autism research in order to better understand the causes and mechanisms of this disorder and to develop more specific and causal treatments compared to the dominating symptomatic approach of behavior modification. An emerging line of research that attempts to reveal underlying mechanisms of Autism Spectrum Disorder (ASD) studies differences in sensory processing in individuals with ASD. In this work we introduce new methods to measure proprioceptive functions of children with ASD. The instruments use low-cost Arduino boards and shields to acquire data from force and touch sensors. The received data is transferred to mobile devices and analyzed with a cross-platform software application. The instruments were pilot tested with typically developing children to test for functionality and usability of the instruments. Furthermode they were tested with known measures to show the accuracy an robustness oft he develeoped system. In the future, they will be used in a larger study with children with ASD. Seite | 5 Inhaltsverzeichnis 1 Einleitung ........................................................................................................................ 8 1.1 Überblick .................................................................................................................. 8 1.2 Gliederung der Diplomarbeit .................................................................................... 9 2 Autismus ....................................................................................................................... 10 2.1 Was ist Autismus?.................................................................................................. 10 2.2 Historische Entwicklung ......................................................................................... 11 2.3 Propriozeption und Autismus ................................................................................. 11 3 Computertechnik und Autismus .................................................................................... 12 3.1 Serious Games ........................................................................................................ 12 3.2 Sensorik und Propriozeption ................................................................................... 13 3.3 MRI, EEG und CT................................................................................................. 14 4 Ubiquitous Computing .................................................................................................. 15 4.1 Physical Computing ............................................................................................... 15 4.1.1 Plattformen ..................................................................................................... 15 4.1.2 Schnittstellen ................................................................................................... 16 4.1.3 Force Sensing Resistor ..................................................................................... 19 4.1.4 Touchscreens ................................................................................................... 21 4.2 Arduino-Entwicklung ............................................................................................. 23 4.3 Mobile Applikationen ............................................................................................. 24 4.3.1 HTML5 & JavaScript ...................................................................................... 24 4.3.2 Lokale Datenspeicherung ................................................................................. 25 4.3.3 PhoneGap ....................................................................................................... 26 4.3.4 PhoneGap Build .............................................................................................. 27 5 Konzeption .................................................................................................................... 29 5.1 Wahl des Entwicklungsprozesses ............................................................................ 29 5.2 Anforderungen und Rahmenbedingungen ............................................................... 29 5.2.1 Funktionale Anforderungen ............................................................................. 30 5.2.2 Nicht funktionale Anforderungen ..................................................................... 31 5.2.3 Use-Case Analyse ............................................................................................ 31 Seite | 6 5.2.4 Übersicht über die Anwendungsfälle ................................................................ 32 5.3 Projektplanung ....................................................................................................... 34 5.4 Testdesign und Task Konzept ................................................................................ 34 5.5 Hardware Design .................................................................................................... 36 6 Grading of Force ........................................................................................................... 37 6.1 Funktionsweise ....................................................................................................... 37 6.2 Komponenten ......................................................................................................... 37 6.2.1 Sensor .............................................................................................................. 37 6.2.2 Controller ........................................................................................................ 38 6.2.3 Stromversorgung ............................................................................................. 38 6.3 Kraftmessung mit FSR ........................................................................................... 39 6.4 Entwurfsprozess ...................................................................................................... 41 7 Grading of Movement .................................................................................................... 44 7.1 Test nach Ayres ..................................................................................................... 44 7.2 Test nach Soechting ............................................................................................... 45 7.3 Finger to Finger Test ............................................................................................. 46 7.4 Komponenten ......................................................................................................... 47 7.4.1 Touchscreen .................................................................................................... 47 7.4.2 Touchscreen-Controller .................................................................................... 48 7.4.3 Gehäuse ........................................................................................................... 50 7.4.4 Kommunikationsmodul .................................................................................... 51 7.4.5 Hochrahmen .................................................................................................... 52 7.5 Ablauf der Messwertabfrage ................................................................................... 53 7.6 Entwurfsprozess ...................................................................................................... 54 8 Die mobile Applikation .................................................................................................. 56 8.1 Features ................................................................................................................. 56 8.2 UI-Design ............................................................................................................... 57 8.3 Module ................................................................................................................... 58 8.3.1 Infos ................................................................................................................ 58 8.3.2 Einstellungen ................................................................................................... 58 Seite | 7 8.3.3 Personenverwaltung ........................................................................................ 58 8.3.4 Testdurchführung ............................................................................................ 58 8.3.5 Auswertung ..................................................................................................... 58 8.3.6 E-Mail Versand ............................................................................................... 58 8.4 Implementierung..................................................................................................... 59 8.4.1 Konfiguration .................................................................................................. 59 8.4.2 Plug-Ins und Bibliotheken ............................................................................... 59 8.4.3 Struktur .......................................................................................................... 61 8.4.4 Datenbank ....................................................................................................... 61 8.4.5 Charts ............................................................................................................. 62 8.4.6 Vektorgrafiken ................................................................................................. 62 8.4.7 Sounds ............................................................................................................. 62 8.5 Testdaten ............................................................................................................... 62 9 Bedienkonzept und Anleitung ........................................................................................ 63 9.1 GoM-Gerät ............................................................................................................. 63 9.1.1 Vorbereitungen ................................................................................................ 63 9.1.2 Start der Tests ................................................................................................ 66 9.2 GoF-Gerät .............................................................................................................. 69 9.2.1 Vorbereitungen ................................................................................................ 69 9.2.2 Starten der Tests ............................................................................................. 69 9.3 Kopplungscodes für die Bluetooth-Verbindung: ...................................................... 71 10 Evaluierung ................................................................................................................ 72 10.1 Funktionstests ........................................................................................................ 72 10.2 Testreihe mit gesunden Kindern ............................................................................. 75 11 Zusammenfassung und Ausblick ................................................................................. 77 12 Danksagung ............................................................................................................... 78 13 Abbildungsverzeichnis ................................................................................................ 79 14 Literaturverzeichnis ................................................................................................... 81 15 Anhang ...................................................................................................................... 84 Seite | 8 1 Einleitung 1.1 Überblick Autismus ist eine weit verbreitete Entwicklungsstörung, die sich durch fehlende Kompetenz in den Bereichen Verhalten, Interaktion und Kommunikation manifestiert. Die durchschnittliche Prävalenz wird in verschiedenen Studien mit einem Wert zwischen 0,6% und 1% [1, 2] angeben. In der Forschung gibt es verschiedene Ansätze die Entwicklungsstörung zu erkennen, beziehungsweise die Möglichkeiten zur Heilung und Rehabilitation zu verbessern. Einer unter diesen Ansätzen, ist die Messung der sensorischen Fähigkeiten an Personen mit Autismus, wobei es hier bereits eine Vielzahl an Studien [3, 4] gibt. Viele dieser Studien verwenden als Grundlage umfangreiche Fragebögen, oder nutzen das direkte Gespräch mit den Eltern. Die ausgewerteten Daten werden daher nur indirekt erfasst und sind somit potentiell ungenau. In den letzten Jahren wird nun versucht, durch neue Tests unter Nutzung moderner technischer Geräte die Daten objektiv und unverfälscht zu erfassen [5-7]. Die dabei erkannten Indikatoren können in weiterer Folge bereits im frühkindlichen Alter zur Feststellung einer möglichen Entwicklungsstörung genutzt werden. Ein Teil des sensorischen Systems, der in diesem Zusammenhang bisher nur wenig erforscht wurde, ist der propriozeptive Sinn. Dieser transportiert Informationen von Rezeptoren, die in Muskeln und Gelenken vorhanden sind, die beispielsweise die Stellung eines Gelenks oder die Kontraktionsstärke eines Muskels ergeben. Die dadurch erfassten Informationen dienen vor allem zur Planung von motorischen Bewegungen und Handlungen, beziehungsweise zur Steuerung des notwendigen Kraftaufwandes. Die Propriozeption und die damit verbundenen Fähigkeiten und Einschränkungen, bilden das Thema dieser Diplomarbeit. Es wird untersucht, wie elektronische Messinstrumente den Zusammenhang zwischen Entwicklungsstörungen des autistischen Spektrums und den motorisch-sensorischen Fähigkeiten bei Kindern ermitteln können. Dazu wurden Messgeräte entwickelt, mit denen der propriozeptive Teil der menschlichen Sinneswahrnehmung untersucht werden kann. Dadurch wird es ermöglicht, sowohl die Bewegungsplanung, als auch die Kraftsteuerung zu erfassen und auszuwerten. Die Implementierung wurde aufgrund der aktuellen Trends zur Mobilität und Plattform-Unabhängigkeit, auf mobilen Endgeräten durchgeführt [8]. Seite | 9 1.2 Gliederung der Diplomarbeit Diese Diplomarbeit ist in insgesamt 5 Hauptthemen, der Definition von Autismus, dem aktuellen Forschungsstand, den technischen Grundlagen von Ubiquitous Computing im Bereich Healthcare, die Implementierung selbst und zuletzt die Evaluierung des entwickelten Systems unterteilt. Am Ende finden sich eine Zusammenfassung des behandelten Themas sowie ein kurzer Ausblick auf weitere mögliche Forschungsthemen. Im Kapitel 2 wird das Thema Autismus von der medizinischen Seite dargestellt, und in Zusammenhang mit dem Thema Propriozeption im menschlichen Körper gebracht. Dazu werden die typischen Ausprägungen des Autismus beschrieben und mit Studien zu Prävalenz, Diagnostik und Rehabilitation dargestellt. Das Kapitel 3 stellt den aktuellen Stand der Forschung auf dem Gebiet der technisch und elektronisch unterstützten Diagnose und Rehabilitation, im Kontext des Autismus, überblicksmäßig dar. Des Weiteren werden auch die im Zusammenhang mit dieser Diplomarbeit stehenden Arbeiten betrachtet. Im Kapitel 4 werden die technischen Grundlagen zu Ubiquitous Computing, wie beispielsweise Themen der Mikroelektronik, Sensorik und deren spezifischen Schnittstellen diskutiert. Die Kapitel 5 bis 9 beschreiben den Hauptteil der Implementierung des Systems zur Messung der propriozeptiven Fähigkeiten von Kindern. Hier werden die Anforderungen an das System, die einzelnen Testkonzepte, sowie die Implementierungsdetails der Mikroelektronik, Software und Bedienelemente dargestellt. Es wird das Bedienkonzept vorgestellt, sowie eine Anleitung zum Ablauf der Tests gegeben. In Kapitel 10 werden Evaluierungen, einerseits mit einfachen Messungen, und andererseits mit einer Gruppe von Kindern diskutiert. Diese Tests geben auch Aufschluss über die Praxistauglichkeit sowie etwaige weitere Verwendungszwecke des implementierten Systems. Seite | 10 2 Autismus In diesem Abschnitt wird ein kurzer Überblick über Autismus im Allgemeinen, dessen Symptome beziehungsweise Auswirkungen, sowie die Zusammenhänge mit dem propriozeptiven Sinn gegeben. 2.1 Was ist Autismus? Autismus, oder oft in der Fachliteratur auch Störungen des autistischen Spektrums beziehungsweise autistischen Formenkreises genannt, beeinträchtigt Personen in deren Fähigkeit zu sozialer Interaktion, Kommunikation und Bewegungssteuerung. Das Krankheitsbild wird von der Weltgesundheitsorganisation (WHO) in deren Diagnoseklassifikationssystem, ICD-101, in mehrere Teilbereiche gegliedert. Die relevantesten Erkrankungen sind hier der frühkindliche Autismus (Kanner-Syndrom) und das Asperger-Syndrom. Beim Kanner-Syndrom treten die ersten Auffälligkeiten, wie eine fehlende Sprachenwicklung und verminderter Blickkontakt, bereits ab dem 10. bis 12. Lebensmonat auf. Hingegen findet man beim Asperger-Syndrom die ersten Anzeichen erst ab dem 3. Lebensjahr. Bei beiden Formen treten typischerweise Symptome einer abnormalen Sinnesverarbeitung auf, die zu einer Fehlwahrnehmung der Umgebung führen. Betroffene Personen haben meist ein vermindertes Interesse an deren Umwelt und Mitmenschen, wobei im Gegensatz dazu häufig ein Interesse an speziellen Einzelthemen (Inselinteresse) besteht. Emotionen, wie Furcht, Liebe oder Wut, können ebenso vermindert wie verstärkt auftreten. Dies kann häufig zu einer Verschlossenheit, beziehungsweise auf der anderen Seite zu einem erhöhten Aufregungspotential führen [9-11]. Abbildung 1 Übersicht Autismus-Spektrum-Störung [12] 1http://apps.who.int/classifications/icd10/browse/2010/en Seite | 11 Die Einteilung der einzelnen Krankheitsbilder wird wie bereits erwähnt, durch die WHO unter dem Titel „International Classification of Diseases“ in der aktuellen Version 10 (ICD-10) herausgegeben. Dieser Katalog dient zur Klassifikation von Krankheiten und Gesundheitsproblemen. Die Störungen des autistischen Spektrums sind darin unter dem Absatz F84 „Pervasive developmental disorders“ zu finden [1]. Die Diagnose der Krankheit kann aufgrund der Vielzahl von unterschiedlichen Auffälligkeiten und Ausprägungen nicht einfach durch organische Befunde begründet werden. Daher ist eine gründliche Anamnese und Beobachtung der Patienten notwendig. Diese wird durch eine Reihe standardisierter Tests und Fragebögen unterstützt, wobei zusätzlich zu diesen Tests auch Intelligenzdiagnostik, Labor- und EEG–Untersuchungen zum Einsatz kommen [9, 10, 12]. 2.2 Historische Entwicklung Die Erforschung und Definition des Autismus findet sich in den 1940er Jahren, und wurde durch Leo Kanner und Hans Asperger geprägt. Kanner definierte den frühkindlichen Autismus im Jahre 1943 in den USA, wohingegen Asperger 1944 die Erkrankung in Wien als autistische Psychopathie definierte. In späterer Folge wurde diese Definition von Lorna Wing in das Asperger-Syndrom umbenannt und beide Definitionen im Jahr 1990 unter dem Sammelbegriff „Autismus“ im ICD-10 der WHO aufgenommen. Mittlerweile wird hauptsächlich der Begriff der „Autismus- Spektrum-Störung (ASS)“ verwendet, wobei dieser die Begriffe „Frühkindlicher Autismus“, „Atypischer Autismus“ und „Asperger-Syndrom“ subsummiert [12]. 2.3 Propriozeption und Autismus Unter der Propriozeption versteht man einen Teil unseres Nervensystems, der zur Bewegungs- und Haltungssteuerung dient. Durch Rezeptoren in den Muskeln, Gelenken, Sehnen und unter der Haut werden Reize generiert, die in das zentrale Nervensystem (ZNS) weitergeleitet werden. Diese Reize können durch Druck, Zug oder Vibration an den entsprechenden Stellen des Körpers erzeugt werden. Zusammen mit den Reizen des Gleichgewichtsorgans, kann somit das ZNS die Lage und Bewegung des Körpers bestimmen [13]. Studien [11, 14] zeigten, dass Personen mit ASS die Informationen des propriozeptiven Systems in anderer Art und Weise benutzen, als gesunde Personen. Seite | 12 3 Computertechnik und Autismus Informations- und Kommunikationstechnologien spielen eine sehr wichtige Rolle in Bereich der Forschung an Autismus. Es gibt hier viele Möglichkeiten zur Verwendung von IKT-gestützten Systemen zur Untersuchung, Diagnostik und Unterstützung. Einige dieser Ansätze und Methoden werden in diesem Kapitel präsentiert [9, 10]. 3.1 Serious Games Eine Möglichkeit die Fähigkeiten von Kindern mit Autismus zu überprüfen, beziehungsweise zu verbessern, bilden sogenannte Serious Games. Dies sind Computerspiele, die im Gegensatz zu normalen Spielen, einen ernsten, meist medizinischen Hintergrund haben. Ein Spiel zur Erfassung der Interaktionsfähigkeit von Kindern hat eine Gruppe der Universität Deuso aus Spanien entwickelt. Es hat das Ziel, die sozialen Kompetenzen bei Kindern zwischen 5 und 8 Jahren zu erfassen. Dazu wird ein Computerspiel mit einem Eye-Tracker kombiniert, der die Augenbewegungen und Fixationsphasen aufzeichnet. Das Spiel verläuft in 4 Stufen, wobei die erste Stufe dem Kennenlernen des Spieles dient. In den einzelnen Stufen werden unterschiedliche Gegenstände und Grafiken gezeigt, die eine Interaktion der Testperson erfordern. Je höher die Stufe ist, desto aufwändiger wird die Interaktion. Nach dem Ende eines Testversuchs werden die ermittelten Fixationsbereiche als Heat-Map dargestellt [5]. Ebenfalls an der Universität Deuso entwickelt wurde ein Computerspiel zur Sprachverbesserung bei Kindern und Jugendlichen mit Autismus. Das System besteht aus einer Datenbank, in der Wörter zusammen mit Bildern gespeichert sind. Kern der Software ist ein Spracherkennungsmodul. Die Aufgabe besteht darin, ein angezeigtes Bild akustisch zu benennen. Dies wird durch die Spracherkennung ausgewertet und für Analysen gespeichert [6]. Die Erkennung von Emotionen bei Mitmenschen ist das Thema des Projektes FACE, von der Universität Pisa. Unter Anleitung einer Therapeutin und Verwendung eines humanoiden Roboters, sollen Kinder Emotionen erkennen und lernen. Der Kopf des Roboters soll dabei einen menschlich Kopf nachahmen [15]. Seite | 13 Eine weitere Möglichkeit zur Unterstützung von Kindern mit Autismus bildet das Gebiet der Virtual Reality. Nachdem die Therapie mit Delphinen bei Kindern Erfolge zeigte, versuchte eine Gruppe aus Singapur diesen Ansatz mit Hilfe einer virtuellen Umgebung nachzubauen. Die Kinder können dabei durch Handbewegungen mit den Delphinen interagieren. Beispielsweise kann der Delphin mit der linken Hand gegrüßt werden, und dieser spritzt als Antwort mit Wasser herum. Es wurde dazu auch eine Studie mit mehreren Kindern zwischen 6 und 17 Jahren durchgeführt, wobei diese zeigte, dass nicht alle Kinder von dieser Umgebung begeistert waren [16]. 3.2 Sensorik und Propriozeption Sensorische und motorische Fähigkeiten entwickeln sich bereits im frühen Kindesalter. Viele Wissenschafter untersuchen dieses Forschungsfeld hinsichtlich der Zusammenhänge mit Autismus. Im folgenden Abschnitt werden einige Arbeiten vorgestellt, die in diesen Forschungsbereich fallen. Ob es einen Zusammenhang zwischen motorischen Funktionen, wie beispielsweise Gehen, Balancieren oder Greifen mit Autismus gibt, hat eine Gruppe der University of North Texas untersucht [17]. Dabei wurde ein Versuchsaufbau mit einer Virtual- Reality Umgebung implementiert, und mit Kindern im Alter von 2 bis 12 Jahren evaluiert. Die Kinder führten dabei auf einem Laufband, mit integrierten Kraftsensoren, definierte Aufgaben aus. Zur Erkennung der Position der Gelenke wurden reflektierende Markierungen am Kopf, Rumpf und den Extremitäten angebracht. Die Aufgaben bestanden aus einfachem Balancieren für eine gewisse Zeit, über Laufaufgaben, bis hin zu komplizierteren Zeige- und Greifaufgaben mit den Händen. An der University of Iowa wurde eine Multi-Touch Tablet Applikation2 entwickelt, die Kindern mit Autismus hilft ihre sozialen Fähigkeiten zu verbessern. Es wurden dabei unterschiedliche Aufgaben implementiert, die mit den Fingern oder einem Stift durchgeführt werden können. Eine davon, ist eine Zeichenapplikation mit der Geschichten graphisch erzählt werden können. Ein Musik-Editor ermöglicht es den Kindern hohe und tiefe Töne in einer zeitlichen Abfolge zusammenzusetzen und abzuspielen. Das Lösen eine Puzzles ist das Thema in der Applikation Untangle, wobei Kreise, die durch Linien verbunden sind, entwirrt werden müssen. Eine weitere 2 http://homepage.cs.uiowa.edu/~hourcade/projects/asd/ Seite | 14 Applikation ist Photogoo, bei der Bilder von Gesichtern verzerrt und manipuliert werden können [18]. Die Messung der motorischen Fähigkeiten von Babys und Kleinkindern ist das Thema einer Arbeit [19] der Universität von Rom. Die untersuchte Zielgruppe befindet sich dabei in einem Alter von 12 bis 36 Monaten. Das Projekt basiert auf verschiedenen Inertial-Sensoren, die einerseits an den Handgelenken des Kindes, und andererseits an bestimmten Gegenständen, die von den Kindern verwendet werden sollen, angebracht sind. Das Messsystem sollte die Kinder bei den durchzuführenden Übungen nicht stören oder beeinträchtigen. Implementiert wurden 3 Aufgaben, ein Ballwurf in eine offene Box, das Aufbauen eines Turms und das Einwerfen von Gegenständen in eine Box mit definierten Öffnungen. Die Lage und Geschwindigkeit der Sensoren soll dabei Aufschluss über die motorischen Fähigkeiten geben. 3.3 MRI, EEG und CT Neben den aktiven Untersuchungen, gibt es auch passive Möglichkeiten, bei denen die Personen keine Aufgaben durchführen müssen. Diese werden beispielsweise durch Computertomographie (CT), Magnetresonanztomographie (MRT) oder Elektroenzephalografie (EEG) ermöglicht. Ein vielversprechender Ansatz Autismus zu erkennen, ist die Analyse des Corpus Callosum (CC). Der CC ist eine große, quer verlaufende Verbindungsstelle zwischen der linken und rechten Gehirnhälfte Dieser zeigte bei neuropathologischen Untersuchungen Abweichungen zu normalen CC. Eine Gruppe der University of Louisville, USA, und der University of Auckland, Neuseeland, fanden hier bei der Analyse von 3D Magnetresonanz-Bildern (MRI) ebenfalls Unterschiede [20]. Durch den Einsatz von EEG konnte eine Gruppe der Universität von Kuala Lumpur ein Unterscheidungsmerkmal zwischen gesunden und erkrankten Kindern finden. Dabei wurden der Testperson Videos von Bewegungen vorgespielt, die in einem weiteren Schritt selbst durchgeführt werden sollten. Während dieses Vorgangs, wurden die Hirnströme mittels EEG aufgezeichnet und in weiterer Folge ausgewertet [4]. Seite | 15 4 Ubiquitous Computing Der Begriff Ubiquitous Computing beschreibt die Allgegenwart von Computern in unserer Welt. Aufgrund der Miniaturisierung finden Computer in immer mehr Bereichen Anwendung. Einer dieser Bereiche ist das Physical Computing, der im nächsten Abschnitt 4.1 dargestellt wird [21]. 4.1 Physical Computing Im Bereich des Physical Computing interagieren elektronische Geräte, die aus Hard- und Software bestehen, mit ihrer Umwelt und umgekehrt. Der Begriff entstand vor allem durch Projekte im Bereich der künstlerischen Gestaltung und durch Bastelarbeiten. Es werden dabei unterschiedliche elektronische Komponenten, unter anderem Mikrocontroller, Sensoren, Aktoren verwendet. Dieser Abschnitt soll einen kurzen Überblick über diese Komponenten, und wie sie miteinander verbunden werden, geben. 4.1.1 Plattformen Eine Plattform ermöglicht die Entwicklung und Implementierung von spezifischen Lösungen, ohne dabei Leiterplatten oder Bauteile extra fertigen zu müssen. Die meisten Einplatinen-Computer sind dabei so universell, dass neue Funktionalität durch einfaches verbinden mit Modulen oder Shields hinzugefügt werden kann. Es gibt aktuell viele verschiedene Plattformen auf dem Markt, wobei die bekanntesten wohl diejenigen von Arduino oder Raspberry Pi sind. Für die meisten dieser Plattformen sind auch IDEs und Software-Bibliotheken verfügbar, um die Entwicklungsarbeit zu vereinfachen und beschleunigen. Arduino3 ist eine der bekanntesten Open-Source Plattformen. Es wird dabei einfach zu benutzende Hardware mit Software kombiniert, um interaktive Systeme zu implementieren. Die Hardware kann direkt beim Hersteller oder auch über Distributoren bezogen werden. Als Entwicklungsumgebung für die Software, können sowohl die frei verfügbare Arduino IDE oder auch kommerzielle Produkte, wie das Atmel Studio, verwendet werden. Die Basisplatine beinhaltet als Hauptkomponente einen Mikrocontroller oder eine CPU deren Ports mittels Steckverbindungen nach außen geführt sind. Die Erweiterung um neue Features, beispielsweise Bluetooth, 3 http://arduino.cc/ Seite | 16 kann auf Basis von Shields oder Modulen, die einfach auf die Basisplatine aufgesteckt werden, durchgeführt werden. 4.1.2 Schnittstellen Definierte und standardisierte Schnittstellen sind im Bereich des Physical Computing von großem Nutzen und verbinden Rechner, Module und Komponenten miteinander. Diese können sowohl als drahtgebundene, sowie als drahtlose Schnittstelle ausgeführt sein. Aufgrund der Menge an unterschiedlichen Schnittstellen wird in diesem Abschnitt nur ein kleiner Teilbereich dargestellt, der für diese Arbeit relevant ist. Die serielle RS-232 Schnittstelle ist durch die CCIT v.24-Norm standardisiert, die in den USA als TIA-232-F bekannt. Üblicherweise wird diese Schnittstellt aber als RS- 232 bezeichnet. Aufgrund der asynchronen Übertragung wird oft auch der Name UART (Universal Asynchronous Receiver Transmitter) verwendet. Die Datenübertragung erfolgt durch unterschiedliche Spannungspegel auf einer Leitung, die in binäre Codes umgewandelt werden. Die notwendige Spannung für ein LOW beträgt -3 bis -15 V, wohingegen ein HIGH von +3 bis +15 V interpretiert wird. Da bei herkömmlichen Mikrocontrollerschaltungen die Versorgungsspannung 3,3 oder 5 V beträgt ist für die Schnittstelle ein Pegelwandler zu verwenden. Insgesamt können für die Datenübertragung 9 Leitungen erforderlich sein, wobei mindestens 3 Leitungen immer notwendig sind. Die restlichen Leitungen dienen den Steuerungszwecken der Kommunikation. Bei Schaltungen im Bereich der Mikroelektronik reichen also meist die Leitungen RX, TX und GND für eine erfolgreiche Datenübertragung aus. In folgender Tabelle sind die Leitungen und deren Funktionen aufgelistet [22]. TxD, TX, TD Transmit Data RxD, RX, RD Receive Data RTS Request to Send CTS Clear to Send DSR Data Set Ready GND Ground DCD, CD, RLSD (Data) Carrier Detect DTR Data Terminal Ready RI Ring Indicator Seite | 17 Die Übertragungsgeschwindigkeit wird in Baud angegeben und liegt üblicherweise zwischen 1.200 und 115.200 Baud. Die Übertragung selbst erfolgt in Wörtern, die eine Länge zwischen 5 und 9 Bit haben können. Zusätzlich kann auch ein Stop-Bit und ein Paritäts-Bit übertragen werden. Für eine erfolgreiche Kommunikation müssen diese Parameter von beiden Endpunkten mit den gleichen Werten eingestellt werden. I2C ist ein serieller Bus der in den 1980er Jahren von Philips entwickelt wurde. Aufgrund von Lizenzansprüchen wird dieser Bus oft auch als Two Wire Interface (TWI) bezeichnet. Die Übertragung erfolgt in Zweidraht-Technik und ist für kurze Distanzen ausgelegt, typischerweise zur Intermodul-Kommunikation in elektronischen Geräten. Die Geschwindigkeit beträgt im Standard-Modus 100 kbit/s und kann im High-Speed-Modus auf bis zu 3,4 Mbit/s erhöht werden. Auf einem I2C Bus gibt es mindestens einen Master und maximal 127 Slaves, sowie einen Broadcast Kanal. Ein Slave sendet und empfängt Daten immer erst nach einer Aufforderung die ein Master durchführt. Bei dieser Aufforderung belegt der Master zuvor den Bus. Nach diesem Sende- oder Empfangsvorganges gibt der Master den Bus auch wieder frei [23]. Das Serial Periphial Interface ist ein synchroner serieller Bus der aus mindestens 3 Leitungen besteht und von Motorola entwickelt wurde. Die Bezeichnung wird oft auch als SPI oder MicroWire abgekürzt. Das SPI wird wie der I2C Bus fast ausschließlich für die geräteinterne Kommunikation verwendet. Beispielsweise kann mit SPI ein Mikrocontroller mit Displays, RTCs oder Port-Multiplexer verbunden werden [24]. Die Leitungen haben folgende Bezeichnungen: MOSI Master Out Slave In Datenausgabe MISO Master In Slave Out Dateneingabe SCLK Serial Clock Bus-Taktsignal Seite | 18 Bluetooth ist eine Funktechnologie die unter anderem PCs, Tablets, Smartphones und Drucker miteinander verbindet. Der verwendete Frequenzbereich liegt zwischen 2,402 und 2,480 GHz, wobei dieses Band in nahezu allen Industriestaaten frei verfügbar ist. Die Sendeleistung wurde auf wenige Milli-Watt beschränkt, daher beträgt die durchschnittliche Reichweite nicht mehr als 100 m. Die Übertragungsrate betrug in der ersten Version von 1999 nur 732,2 kbit/s, wobei diese mit Version 2.0 auf 2.1 Mbit/s gesteigert wurde. Seit 2009 können ab Version 3.0 bereits bis zu 24 Mbit/s übertragen werden. Die Technologie ist von IEEE unter dem Titel 802.15.1 standardisiert4. Der Aufbau des Bluetooth-Protokolls wird durch eine Schichtenarchitektur definiert. Diese besteht aus den Hauptprotokollen, Kabelersatzprotokollen, Telefonprotokollen und den Erweiterungsprotokollen. Beispielsweise gibt es Protokolle zur Audioübertragung (A2DP) oder Eingabegeräteansteuerung (HID). Eine für diese Arbeit relevantes Protokoll ist das Serial Port Profile, kurz SPP. Dieses basiert auf dem RFCOMM und SDP Protokoll und ermöglich die serielle Datenübertragung zwischen zwei Endgeräten, siehe Abbildung 2. Durch die Transparenz des Protokolls kann es als einfacher Ersatz für ein RS-232 Kabel angesehen werden [22, 25]. Abbildung 2 Bluetooth Serial Port Profile Stack 5 4 http://standards.ieee.org/about/get/802/802.15.html 5 https://developer.bluetooth.org/TechnologyOverview/Pages/SPP.aspx Seite | 19 4.1.3 Force Sensing Resistor Ein Force-Sensing-Resistor (FSR) ist ein zweipoliger Sensor, der seinen elektrischen Widerstand bei steigender Krafteinwirkung verringert. Die maximale Belastbarkeit und Genauigkeit ist Aufgrund des Aufbaus, siehe Abbildung 3, meist eher gering. Auch die Fläche ist oft nur wenige Quadratzentimeter groß. Daher findet dieser Sensor hauptsächlich in Touch-Geräten Verwendung die durch Menschen bedient werden. Abbildung 3 Schichtenaufbau eines FSR [26] Die Art der Anbringung des FSR-Sensors ist von entscheidender Bedeutung. Diese muss eine Reihe von Bedingungen erfüllen, wobei die Wichtigsten eine glatte, flache Oberfläche und die Vermeidung von Scherkräften sind. Die Aufhängung der Druckfläche kann in zwei unterschiedlichen Ausführungen erfolgen. Einerseits kann diese gleitend erfolgen, wobei hier Seitenkräfte zu verhindern ist. Als zweite Möglichkeit kann die Druckfläche mittels Scharnier angebracht werden, wodurch die Scherkräfte minimiert werden [27, 28]. In Abbildung 4 sind diese Ausführungsmöglichkeiten schemenhaft dargestellt. Abbildung 4 Schematische Darstellung der Möglichkeiten zur Kraftmessung [28] Seite | 20 Die Konvertierung der aufgewendeten Kraft zu elektrischer Spannung kann mittels eines Spannungsteilers erfolgen. Bei der in Abbildung 5 dargestellten Schaltung erhöht sich die Ausgangsspannung VOUT mit steigender Krafteinwirkung. Diese kann durch folgende Formel errechnet werden.  =    +  Durch die entsprechende Wahl der Widerstandes RM kann die Kraft-Sensitivität der Schaltung eingestellt werden. Zur Anpassung des Ausganswiderstands kann hier noch ein Impedanzwandler in Form einer OPV-Schaltung nachgeschaltet werden. Abbildung 6 zeigt den Verlauf der Ausgangsspannung abhängig von der Krafteinwirkung. Die Referenzspannung V+ ist mit 5V anzunehmen [26]. Abbildung 5 FSR - Messung mit Spannungsteiler [26] Abbildung 6 FSR - Vergleich Kraft und Vout [26] Seite | 21 4.1.4 Touchscreens Ein Touchscreen ist ein Eingabegerät, das durch Berührung der Oberfläche den Programmablauf einer Applikation oder eines Gerätes steuern kann. Die Position der Berührung wird als X- und Y- Koordinate ermittelt und an das System weitergeleitet. Es gibt mehrere Funktionsprinzipien, wobei folgende am häufigsten Verwendung finden: • Resistive Systeme • Kapazitive Systeme • Optische Systeme • Aktustische Systeme Da in dieser Arbeit ausschließlich mit resistiven und kapazitiven Systemen gearbeitet wurde, werden diese im Folgenden detaillierter dargestellt. Resistive Systeme Die Funktionsweise bei resisitiven Systemen baut darauf auf, dass Druck auf eine einzelne Stelle ausgeübt wird. Der Aufbau besteht aus 2 Platten, die durch einen nicht leitfähigen Abstandshalter getrennt sind. Wird Druck ausgeübt, verbinden sich die obere und untere Schicht, die mit leitfähigem Material beschichtet sind. Durch das Anlegen von Gleichspannung auf dieser leitfähigen Schicht, entsteht ein Spannungsteiler, aus dessen Wert die Position ermittelt werden kann. Es gibt verschiedene Ausführungen der resistiven Touchscreens, dies sind die Four-Wire, Five-Wire oder auch Six-, Serven- und Eight-Wire Systeme. Das Four-Wire Prinzip bildet den einfachsten Lösungsweg, indem die Spannung abwechselnd an beiden Schichten mit einem Versatz von 90° angelegt wird. Dadurch ergibt sich aber der größte Nachteil dieses Prinzip, indem nach häufiger Benutzung die Präzision nachlässt. Beim Five-Wire Prinzip, werden wie der Name schon sagt, fünf Leitungen verwendet. 4 davon werden an den Ecken der unteren Schicht und die letzte Leitung wird an der oberen Schicht angeschlossen. Damit wird die schnell nachlassende Präzision weitestgehend vermindert. Seite | 22 Die weiteren Methoden Six-, Seven- oder Eight-Wire folgen den gleilchen Prinzipen wie die Four- oder Five-Wire, nur dass dabei die Messwerte nicht an den spannungsführenden Leitungen abgegriffen werden. Es werden dazu zusätzliche Messleitungen verwendet [29]. Kapazitive Systeme Kapazitive Touchscreens funktionieren völlig ohne Druckeinwirkung. Im Allgemeinen sind kapazitive Systeme präziser als resistive Systeme, und haben auch keinen Verschleiß. Üblicherweise besteht ein solcher Touchscreen aus einer Glasplatte, auf der eine transparente Metalloxid-Schicht aufgebracht ist. An definierten Stellen wird Wechselspannung angelegt, wodurch ein elektrisches Feld entsteht. Durch die Berührung des Fingers ändert sich dieses Feld, und es kann somit die Position bestimmt werden. Im Detail gibt es noch unterschiedliche Ausführungen, die im Weiteren näher beschrieben werden. Oberflächen kapazitive Systeme weisen eine äußerst schnelle Reaktionszeit und hohe Berührungs-Sensitivität auf. Ein Nachteil ist, dass diese nicht Multi-Touch fähig sind, und daher nur einen Punkt zu einem Zeitpunkt erfassen können. Beschädigungen auf der Oberfläche, wie beispielsweise Kratzer, beeinträchtigen die Funktion. Die Wechselspannung wird an den Eckpunkten angelegt, wobei in weiterer Folge eine bestimmte Ladungsmenge über den Finger abgeleitet wird, siehe Abbildung 7. Abbildung 7 Schema des oberflächen-kapazitiven Touchscreen 6 Bei projiziert kapazitiven Systemen wird ein Elektrodenraster zu Positionsbestimmung eingesetzt. Dadurch wird es ermöglicht mehrere Berührungspunkte gleichzeitig zu erfassen. In Smartphones und Tablets wird üblicherweise dieses System eingesetzt. 6 http://de.wikipedia.org/wiki/Touchscreen#mediaviewer/File:TouchScreen_capacitive.svg Seite | 23 4.2 Arduino-Entwicklung Die Programmierung von Arduino-Kompatiblen Mikrocontrollern erfolgt in der Entwicklungsumgebung Arduino IDE7 mit der Programmiersprache C/C++. Die IDE vereinfacht die Entwicklung nicht nur bei der Source-Code Erstellung, sondern ermöglicht auch die Verbindung zum Mikrocontroller und Übertragung des in Maschinensprache übersetzten Programmcodes. Die eingebaute Debugging-Konsole ermöglicht die Ausgabe von Statusmeldungen des Mikrocontrollers. Der Programmcode für Arduino-Applikationen wird in .ino Dateien abgespeichert. Die Basis eines Programms bilden hierbei immer zwei Funktionen die unbedingt implementiert werden müssen. Die setup Methode wird einmalig beim Programmstart aufgerufen und dient zur Initialisierung von Variablen, Subsystemen und gekoppelter Hardware. void setup(void) { /* CODE */ } Die loop Methode wird wiederkehrend aufgerufen und enthält den Hauptteil des Programmcodes. void loop() { /* CODE */ } 7 http://arduino.cc/en/Main/Software, Aktuelle Version am 21.05.2014: 1.5.5 Seite | 24 4.3 Mobile Applikationen Unter mobilen Applikationen versteht man im Allgemeinen Software, die speziell für mobile Endgeräte, wie beispielsweise Smartphones oder Tablets, implementiert wird. Da die Implementierung für die verschiedenen Betriebssysteme sehr aufwendig und kostenintensiv ist, versucht man diese durch Verwendung von Cross-Plattform Frameworks zu beschleunigen. Native Applikationen werden für ein bestimmtes Betriebssystem entwickelt, und sind auch nur auf Diesem lauffähig. Meist werden dazu die Programmiersprachen C, C++, Objective C oder Java verwendet. Ein großer Vorteil dieses Ansatzes ist, dass die Applikationen sehr schnell sind, und vollen Zugriff auf die Hardware haben. Web-Applikationen bauen auf den bekannten Technologien HTML, CSS und JavaScript auf und werden von Web-Servern zur Verfügung gestellt. Da diese in Web-Browsern ausgeführt werden, können sie auf vielen verschiedenen Endgeräten und Betriebssystemen genutzt werden. Hybride Applikationen verwenden unter anderem die gleichen Technologien wie Web- Applikationen, werden aber lokal auf dem Endgerät ausgeführt. Durch die Einbindung von Frameworks, wie PhoneGap oder Titanium Appcelerator8, ist es auch möglich auf Features des Betriebssystem oder der Hardware zuzugreifen. 4.3.1 HTML5 & JavaScript HTML5 ist die bereits fünfte Version der Hypertext Markup Language, und wurde am 28.10.2014 vom W3C als Empfehlung veröffentlicht. Sie ersetzt die bisherigen HTML 4 und XHTML 1.0 Empfehlungen und biete viele neue Funktionen. Beispielsweise wird mit der neuen Version lokale Speicherung, 2D- und 3D- Grafikerstellung als auch Audio- und Videowiedergabe ermöglicht. Die Skriptsprache JavaScript wurde ursprünglich entwickelt um die Möglichkeiten von HTML und CSS zu erweitern. Dadurch war es möglich Inhalte auch noch nach dem vollständigen Ladevorgang zu verändern. Die Sprache wurde von der Organisation ECMA im Jahr 2011 als ECMA-2629 standardisiert. 8 http://www.appcelerator.com/titanium/ 9 http://www.ecma-international.org/publications/standards/Ecma-262.htm Seite | 25 Das Framework jQuery Mobile10 unterstützt und vereinfacht die Entwicklung von mobilen Anwendungen. Es funktioniert auf nahezu allen mobilen Browsern von Smartphones und Tablets. Zur Benutzung werden HTML5-Tags und auch teilweise CSS-Elemente in die bestehende Anwendung eingefügt. Das Framework generiert dann den notwendigen Code für die mobilen Anzeigeelemente. 4.3.2 Lokale Datenspeicherung Da viele Endgeräte und die verwendeten Standard-Browser unterschiedlich sind, muss die Datenspeicherung ebenfalls an diese angepasst werden. Es gibt hierzu jedoch mehrere de-facto Standards. Der einfachste Weg, wäre die direkte Ablage der zu speichernden Daten im Filesystem. Dies setzt jedoch voraus, dass der Zugriff auf Dieses erlaubt ist. In einer HTML5 Applikation ist diese Voraussetzung jedoch meist nicht gegeben. Daher werden hier die durch die Browser zur Verfügung gestellten Schnittstellen verwendet. Zwei davon sind WebSQL und IndexedDB, wobei seitens des W3C die Arbeiten an beiden Spezifikationen eingestellt wurden. Sie werden aber weiterhin von allen gängigen Browsern unterstützt, siehe Abbildungen 8 bis 9. WebSQL wird, wie der Name schon sagt, mit spezifischen SQL-Queries angesprochen. Die Speicherung der Daten erfolgt dabei in einem relationalen Datenmodell. Die IndexedDB ist ein Objektspeicher, der durch Indexe aufgebaut wird. Das bedeutet, dass ein Java Script Objekt mit einem eindeutigen Schlüssel abgespeichert werden kann. Abbildung 8 Unterstützungsmatrix für WebSQL11 10 http://jquerymobile.com/ 11 http://caniuse.com/#search=websql Seite | 26 Abbildung 9 Unterstützungsmatrix für IndexedDB12 4.3.3 PhoneGap PhoneGap13 unterstützt die Erstellung von mobilen Applikationen unter Verwendung der Technologien HTML, CSS und JavaScript. Es ermöglicht auch den Zugriff auf die Hardware und das Betriebssystem. Dieser Zugriff wird durch Plug-Ins ermöglicht, und kann daher beliebig erweitert werden. Das Framework bietet auch ein Command Line Interface (CLI), mit dem Projekte erstellt und verteilt werden können. Im Folgenden werden die wichtigsten Kommandos aufgelistet. Mit dem Kommando create wird ein neues PhoneGap Projekt erstellt. Dabei werden die nötigen Ordner und Konfigurationsdateien automatisch angelegt. phonegap create autismMobile --id "at.ac.tuwien.aut ism" --name "Autism" Das Hinzufügen von Plug-Ins kann ebenfalls mit dem PhoneGap CLI erfolgen. Phonegap local plugin add https://github.com/randdu sing/BluetoothLE Nach der Programmierung der Applikation kann diese mit dem build Kommando erstellt werden. 12 http://caniuse.com/#search=indexeddb 13 http://phonegap.com/ Seite | 27 phonegap local build android Für lokale Tests kann auch ein angeschlossenes Endgerät verwendet werden. Dazu wird das Kommando run ausgeführt. phonegap local run android 4.3.4 PhoneGap Build Das Deployment von Cross-Plattform Applikationen auf die unterschiedlichen Plattformen, wie beispielsweise Android, iOS und Windows, ist eine zeitaufwändige und umfangreiche Aufgabe. Es ist für jede einzelne Plattform notwendig, einen User- Account zu erstellen und das zugehörige SDK zu installieren. Auch die Hardware und das Betriebssystem müssen mit der Ziel-Plattform kompatibel sein. Beim Deployment in den Apple-Store ist einerseits kompatible Apple-Hardware notwendig, andererseits muss immer das aktuellste Betriebssystem zur Erstellung der fertigen Applikation installiert sein. Von Adobe wird daher zur Vereinfachung des Deployment-Prozesses das Service Adobe PhoneGap Build14 angeboten. Dabei ist die Erstellung einer App kostenlos, und erfordert lediglich die Registrierung einer Adobe ID mit der persönlichen E-Mail Adresse (siehe Abbildung 10). Abbildung 10 Registrierung Adobe ID für Adobe PoneGap Build15 Die unterstützten Plattformen sind iOS, Android und Windows Phone, wobei die jeweiligen Applikationen direkt in die App-Stores verteilt werden können [30]. 14 https://build.phonegap.com 15 https://build.phonegap.com/people/sign_in Seite | 28 Die Erstellung der Applikation ist sehr einfach und benötigt nur 3 Schritte. Als erstes muss die Applikation, also die HTML-, JavaScript- und Konfigurationsdateien, in eine ZIP-Datei verpackt und dann auf der Website des Build-Service hochgeladen werden. Nach dem Hochladen ist nur mehr die Kontrolle und Bestätigung der Metadaten notwendig, und die Applikation wird im Anschluss bereits erstellt. Wurden noch keine Signatur-Keys erstellt, besteht auch die Möglichkeit die Applikation direkt herunter zu laden und zu installieren. In den folgenden Abbildungen 11 und 12 ist der Erstellungsprozess, von der Registrierung über das Hochladen bis zum Download der fertigen Applikation dargestellt. Abbildung 11 Upload-Prozess des PhoneGap Build-Service Abbildung 12 Abschluss der PhoneGap-Erstellung Seite | 29 5 Konzeption In diesem Abschnitt werden die Anforderungsanalyse und der Designprozess, welche im Rahmen der Diplomarbeit durchgeführt wurden, beschrieben. Im ersten Abschnitt werden die Anforderungen an das System beschrieben und die gewählte Vorgehensweise zur Entwicklung begründet. Im weiteren Verlauf wird die Messmethodik, im Hinblick auf deren Funktionsweise, vorgestellt. 5.1 Wahl des Entwicklungsprozesses Zur Entwicklung von Hardware- und Softwarewarekomponenten gibt es eine Vielzahl an bekannten Entwicklungsprozessen beziehungsweise Entwicklungsmodellen. Diese können im Allgemeinen in agile und nicht agile Modelle aufgeteilt werden. Da es sich um ein komplett neues Messverfahren handelte und die genauen Anforderungen nicht vorhanden waren, entschieden wir uns zur Wahl eines agilen Modells, um möglichst schnell auf sich ändernde Anforderungen reagieren zu können. Dabei entstand eine Mischung aus den Modellen Scrum und Extreme Programming (XP), da wir sowohl User Stories als auch Use-Cases in unsere Analyse aufnehmen wollten. Extreme Programming zeichnet sich vor allem durch die ständige Kooperation mit den Auftraggebern, als auch durch schnelle und häufige Auslieferungen aus. 5.2 Anforderungen und Rahmenbedingungen Die Anforderungen an das zu entwickelnde System, als auch die dabei auftretenden Rahmenbedingungen im medizinischen Bereich, waren sehr vielfältig. Daher wurde vor Beginn der Entwicklungsarbeiten eine ausführliche Anforderungsanalyse durchgeführt und in weiterer Folge ein Use-Case Diagramm ausgearbeitet. ‚Die Gerätschaften sollen vorwiegend durch Kinder benutzt werden. Daher mussten wir besonders auf die Stabilität der Ausführung und ebenso eine Minimierung des Verletzungsrisikos bedacht nehmen. Da das Hauptaugenmerk der Studie auf der Suche nach einer Diskriminante zwischen gesunden und nicht gesunden Kindern liegt, ist eine entsprechende Messgenauigkeit mit Abweichungen im Bereich weniger Prozent erforderlich. Das System sollte aus zwei Tests bestehen, die jeweils unterschiedliche Messgrößen erfassen. In beiden Fällen sind bei diesem neuen Verfahren nur die Differenzen zwischen zwei Messungen von Bedeutung. Das begründet sich darin, dass zur Messung der propriozeptiven Fähigkeiten im Allgemeinen mindestens zwei Werte notwendig sind. Diese sind der Stimulus- und der Wiederholungswert. Aus der Seite | 30 Differenz können dann Rückschlüsse auf die Fähigkeiten der getesteten Person gezogen werden. Beim ersten Messverfahren sollte die Kraft, die eine Person auf eine Fläche ausüben kann, gemessen und aufgezeichnet werden. Im zweiten Fall sollte die Genauigkeit der Berührung zweier Punkte mit dem Zeigefinger ermittelt und ebenfalls aufgezeichnet werden. Die Anforderungen an diese beiden Systeme werden im Folgenden dargestellt. 5.2.1 Funktionale Anforderungen Im Vorfeld wurden in Workshops und Interviews die Anforderungen, die das System zu erfüllen hat, erarbeitet. Aus dieser Analyse ergeben sich folgende funktionale Anforderungen an die beiden Geräte: Gerät 1: Grading of Force • Bestimmung der Differenz zweier Messungen o Messwert „drücke leicht“, „drücke fest“, „halte Druck“ o Messwert maximaler Druck • Drücken mit der Hand • Messplatte mit Gummipuffer • Drahtlose Datenübertragung • Anzeige auf einem mobilen Gerät • Akustische Signale • Aufzeichnung der Daten • Berechnung von Indikatoren • Exportieren der Daten Seite | 31 Gerät 2: Grading of Movement • Verwendung von Tablet oder Touchscreen • Implementierung von 3 Tests o Ayres Test, laut vorhandenem Papiertest o Finger To Finger Test o Söchting Test • Absolute Differenz zu Messpunkten ermitteln • Touchscreen größer als 19“ • Drahtlose Datenübertragung • Anzeige auf mobilen Gerät • Akustische Signale • Aufzeichnung der Daten • Exportieren der Daten • Rahmen zum Auflegen der Messplatte 5.2.2 Nicht funktionale Anforderungen Im Falle beider Geräte ergeben sich dieselben nicht funktionalen Anforderungen: • Messfehler im Bereich weniger Prozente • Minimierte Verletzungsgefahr • Stabile und robuste Ausführung 5.2.3 Use-Case Analyse Die Use-Case Analyse zeigt die funktionalen Anforderungen, die durch die Benutzer „Medizinerin“ und „Patientin“, durchgeführt werden können. Zwischen den beiden Benutzern besteht dabei keine Ableitung oder Abhängigkeit. Die Medizinerin nimmt dabei die Rolle der Übungsleiterin ein, wohingegen die Patientin nur die vom System vorgegebenen Übungen durchführen kann. Das Projekt unterteilt sich dabei in einen gemeinsamen Funktionsteil und in die beiden spezialisierten Tests. Seite | 32 Übersicht der modellierten Rollen: User Rechte Anmerkung Medizinerin Uneingeschränkter Systemzugriff Patientin Zugriff für Tests Abbildung 13 Rollen der Use-Case Analyse 5.2.4 Übersicht über die Anwendungsfälle Paket Kürzel Titel Priorität Autism A1 Patientin erstellen 1 Autism A2 Patientin auswählen 1 Autism A3 Sensor wählen 1 Autism A4 Sensor verbinden 1 Autism A5 Systemdaten abfragen 2 Autism A6 Daten zu Patienten abrufen 1 Autism A7 Daten exportieren 2 Autism A8 Datensatz löschen 2 Grading of Force F1 Test wählen 1 Grading of Force F2 Test starten 1 Grading of Force F3 Test abbrechen 1 Grading of Force F4 Platte drücken 1 Grading of Force F5 Kraft halten 2 Grading of Force F6 Daten aufzeichnen 2 Grading of Force F7 Teststufe abbrechen 2 Grading of Force F8 Testmodus starten 2 Grading of Movement M1 Test wählen 1 Grading of Movement M2 Test starten 1 Grading of Movement M3 Test abbrechen 1 Grading of Movement M4 Punkt drücken 1 Seite | 33 Grading of Movement M5 Spur nachfahren 2 Grading of Movement M6 Abweichungen aufzeichnen 2 Grading of Movement M7 Teststufe abbrechen 2 Grading of Movement M8 Testmodus starten 2 Abbildung 14 Use-Case Diagramm des implementierten Systems Seite | 34 5.3 Projektplanung Das Projekt zur Entwicklung eines Prototyps startete im November 2013 und hatte eine geplante Laufzeit von ca. 6 Monaten. Die Planung startete mit einer detaillierten WBS-Analyse und darauffolgend wurde das zugehörige GANTT-Diagramm erstellt. Die zur Projektplanung zugehörigen Diagramme und Grafiken sind im Anhang zu finden. 5.4 Testdesign und Task Konzept Zur Messung der propriozeptiven Fähigkeiten wurden zwei unterschiedliche Tests entwickelt. Einerseits der Grading of Force Test (GoF) und andererseits der Grading of Movement Test (GoM). Beide Tests bestehen aus einfachen motorischen Aufgaben, die aktive Muskelkontraktionen benötigen, aber nur minimale Fähigkeiten zur Planung von motorischer Bewegung erfordern. Aufgrund dieser Tatsache kann davon ausgegangen werden, dass diese Tests ein sehr genaues Maß der propriozeptiven Fähigkeiten erfassen können. Der GoF-Test soll Aufschluss darüber geben, wie genau und definiert eine Testperson Kraft auf eine Messplatte ausüben kann. Es geht dabei nicht um die maximale oder minimale Kraft, die die Person aufwenden kann, sondern um die Reproduzierbarkeit eines selbst definierten Kraftwertes. Die Aufgabe besteht im Grunde darin, dass die Testperson mit der flachen Hand mehrmals Kraft auf eine horizontale Oberfläche ausübt. Dabei soll immer der zuerst erreichte Wert möglichst genau wiederholt werden. Das Gerät muss dabei eine Vielzahl an Anforderungen hinsichtlich der Unterschiedlichkeit der Probanden erfüllen. Diese differieren in Alter, Geschlecht und der physischen Verfassung. Beim GoM-Test geht es wie beim GoF-Test um die Reproduzierbarkeit eines selbst definierten Messwertes, jedoch auf Basis der Position eines Punktes auf einer begrenzten Oberfläche. Der Test stellt daher ein Maß über die Fähigkeit der Armbewegung ohne jegliche visuelle Kontrolle dar. Die Aufgabe besteht darin, zuerst den Zeigefinger von einem definierten Startpunkt aus, auf einen beliebigen Punkt des Touchscreens zu platzieren. Nach dieser Definition muss der Punkt vom Startpunkt aus wieder möglichst genau getroffen werden. Der Test basiert auf einem papiergestützten Test, namens „Kinesthesia Test“, nach der Definition aus „Sensory Integration and Praxis Tests“ [31]. Der originale Test hat aufgrund der vordefinierten Seite | 35 Ziele, den Nachteil der passiven Bewegung, den der neu implementierte GoM-Test nicht ausweist. Beide Tests verfolgen das gleiche Ziel, nämlich nicht die Erfassung einer absoluten maximalen Messgröße, sei es hinsichtlich einer aufgewendeten Kraft oder der räumlichen Position einer Hand, sondern die Erfassung von Differenzen bei wiederholten Übungen. Zu diesem Zweck ist eine genaue Definition der Übungsziele und Abläufe notwendig. Das Konzept des „Tasks“ versucht diese Abläufe zu vereinfachen und zu standardisieren. Eine Übung, beziehungsweise ein Test, besteht aus insgesamt 12 Test-Items, wobei die ersten beiden Items nur zur Erklärung des Ablaufes und dem Kennenlernen der Übung dienen. Die weiteren 10 Items werden alternierend mit der linken und rechten Hand ausgeführt. Jedes dieser Items besteht auf zwei Schritten die in fester Reihenfolge durchgeführt werden. Als erstes wird immer der Stimulus definiert, also jener Wert der als Basis für den zweiten Schritt dient. Der zweite Schritt wird Wiederholung genannt, also der Versuch den ersten Wert möglich genau zu treffen. Die Differenz der beiden Schritte ergibt nun das Ergebnis eines einzelnen Items. Aufgrund der großen Anzahl an durchgeführten Items, kann hier auf ein aussagekräftiges Ergebnis geschlossen werden. Seite | 36 5.5 Hardware Design Das Design der Geräte wurde in einem iterativen Prozess in Zusammenarbeit mit einer Psychologin erstellt. In einem ersten Schritt wurden 3D-Modelle am PC entworfen, wie in Abbildung 15 ersichtlich ist, um einen ersten Überblick über mögliche Lösungen darzustellen. Danach wurden Attrappen aus Holz gefertigt und auf deren Tauglichkeit und Bedienbarkeit hin untersucht. Dabei wurde vor Allem das Augenmerk auf die Benutzerbarkeit für Kinder, und ein minimales Verletzungsrisiko gelegt. Nach diesem Prozess wurde die Elektronik entwickelt und in die zuvor gefertigten Gehäuse eingebaut. Die detaillierte Beschreibung zu einzelnen Entwurfsschritten und den verwendeten Komponenten sind in den Kapitel 6 und 7 zu finden. Abbildung 15 3D Modell des GoM-Test Abbildung 16 Erste Attrappe des GoM-Test Seite | 37 6 Grading of Force 6.1 Funktionsweise Die Testperson sitzt bei dem GoF-Test auf einem Stuhl vor einem Tisch, wobei das Testgerät auf diesem Tisch platziert wird. Nach dem Start des Geräts erklärt der Übungsleiter den Ablauf des Tests und zeigt bei Bedarf die notwendigen Schritte vor. Danach beginnt die Testperson mit den ersten beiden Trainings-Items. Dazu wird die Testperson gebeten die Hand auf das Gerät zu legen, und Druck auf die Messplatte auszuüben. Während des Trainings-Item erhält die Testperson visuelles Feedback über den Bildschirm des Auswertungsgerätes. Dort kann auf einer Skala abgelesen werden, in welchem Bereich die aufgewendete Kraft im Vergleich zur maximal möglichen Belastbarkeit liegt. Nachdem der Ablauf geklärt und die Trainings-Items durchgeführt wurden, beginnt der Ablauf der 10 echten Items ohne visuelles Feedback. Die Hände wechseln dabei bei jedem Item. Nach der erfolgreichen Absolvierung werden die Ergebnisse ausgewertet und visuell auf dem Ausgabegerät dargestellt. 6.2 Komponenten Das Messinstrument zum Grading of Force Test besteht aus den Komponenten Gehäuse, Messplatte, Kraftsensor, Elektronik und Software. Das Gehäuse ist aus Mehrschicht-Holzplatten (22 mm) gefertigt, die als Basis einen Würfel bilden. Für die Aufnahme der Schalter, Taster und Schnittstellenanschlüsse sind auf der Rückseite Ausnehmungen vorgesehen. An der Vorderseite befindet sich eine Türöffnung, um im Bedarfsfall den Akku beziehungsweise etwaige Elektronik tauschen zu können. Die Kraftübertragung erfolgt durch eine auf der Oberseite des Würfels angebrachte Holzplatte, die durch zwei Scharniere eine vertikale Bewegung ermöglichen. 6.2.1 Sensor Der Kraftsensor, ein Forse Sensing Resistor (FSR) des Herstellers Interlink16, ist auf dem Würfel angebracht und mittels eines zweipoligen Steckverbinders mit der Messelektronik verbunden. Direkt auf dem Sensor ist eine Kunststoffscheibe, mit einer Stärke von ca. 2 mm, zur Übertragung der Kraft angebracht. Um ein besseres haptisches Druck-Feedback zu erreichen, ist auf dem ca. 2 x 2 cm großen Sensor eine Moosgummiplatte angebracht. Diese ermöglicht eine vertikale Stauchung von ca. 3 mm. 16 http://www.interlinkelectronics.com/FSR406.php# Seite | 38 Abbildung 17 Foto des Interlink FSR 406 6.2.2 Controller Die Basis der Messelektronik bildet ein Arduino UNO R3 – Board, welches mit einem Atmel ATmega 328P Mikroprozessor ausgestattet ist. Die Taktfrequenz ist mit 16 MHz für die Datenerfassung und Übertragung mehr als ausreichend, da eine Messfrequenz von 10 Messungen pro Sekunde angestrebt wird. Zur Übertragung der Daten wird ein Bluetooth-Board (Fabrikat Seeedstudio) mittels RS-232 mit dem Arduino Board verbunden. Die Messdatenerfassung erfolgt mit Hilfe eines Spannungsteilers auf einem Breakout-Board, das als letzte Komponente auf dem Arduino-Stack montiert ist. Abbildung 18 Arduino Uno mit Bluetooth Modul 6.2.3 Stromversorgung Die Stromversorgung erfolgt entweder über ein Netzteil mit 9V/500 mA oder über den integrierten Lithium-Polymer Akkumulator mit zugehöriger Lade- und Versorgungsschaltung. Aufgrund des niedrigen Stromverbrauchs ergibt sich durch die Kapazität des Akkus von 650 mAh eine durchschnittliche Laufzeit von ca. 10 h mit einer vollen Ladung. Seite | 39 Abbildung 19 Stromversorgung Li-Po Rider 6.3 Kraftmessung mit FSR Da es sich bei einem FSR und einen kraftabhängigen Widerstand handelt, kann die Messwertbildung durch einen einfachen Spannungsteiler erfolgen. Der FSR wird daher mit der Referenzspannung von 5V des Arduino-Boards und mit einem 10 kOhm Widerstand gegen Masse verbunden. Die Spannungsmessung wird am Verbindungspunkt zwischen FSR und Widerstand durchgeführt. Da der Widerstand bei höherer Kraftaufwendung abnimmt, steigt die Spannung proportional zur Krafterhöhung. Die Implementierung der Arduino-Software ist in der Source-Datei ReadPressure.ino enthalten. Im folgenden Abschnitt werden der Aufbau und die Funktionsweise des Programmes dargestellt. Das Programm verwendet zwei Serielle Schnittstellen, eine zur Kommunikation mit dem Bluetooth-Board, die Zweite zur Statusübermittlung an einem angeschlossenen PC. Die verwendeten Ports für die Bluetooth-Verbindung sind im Source-Code über folgende Definitionen festgelegt: #define RxD 7 // Receive #define TxD 6 // Transmit Die Verbindung zum Bluetooth-Modul wird durch eine eigene Setup-Routine hergestellt, welche einmalig beim Start aufgerufen wird. Die Initialisierung erfolgt dabei nach einem fixen Schema, welches durch die Spezifikation des Moduls Seite | 40 vorgegeben ist. Die für die Kommunikation verwendeten Codeworte werden im Folgenden beschrieben. Das Modul wird zu allererst mit dem Kommando „STWMOD“ in den Slave-Modus geschalten. \r\n+STWMOD=0\r\n Die Festlegung des gesendeten Gerätenamens erfolgt mit dem Kommando „STNA“. \r\n+STNA=Pressure\r\n Um gekoppelten Geräten den Verbindungsaufbau zu erlauben wird im Anschluss folgendes Kommando übertragen. \r\n+STOAUT=1\r\n Das letzte Kommando der Vorinitialisierung stellt die Aktivierung des automatischen Verbindungsaufbaus dar. \r\n+STAUTO=0\r\n Nach dieser Vorinitialisierung muss eine Zeitspanne von 2000 ms gewartet werden, bevor das Modul endgültig aktiviert wird. Durch setzen des Verfügbarkeitsstatus wird das Modul für andere Geräte sichtbar. \r\n+INQ=1\r\n Nach der Initialisierungsroutine erfolgt bereits die Messung des Kraftwertes. Die Messung und Berechnung des Kraftwertes erfolgt durch Mittelung (arithmetisches Mittel) von 5 aufeinander folgenden Messwerten in Abständen von 5 ms. Nach einem Messblock wird eine Pause von 80 ms durchgeführt, bevor die Messung erneut erfolgt. Daher ergibt sich eine Zeitspanne von 100 ms für einen finalen Messwert. Seite | 41 Abbildung 20 Zyklus der FSR Messung Zur Ermittlung eines einzelnen Kraftwertes muss der aktuelle Wert des Spannungsteilers ermittelt werden. Dies erfolgt mit der Funktion analogRead(int port) , die bereits in der Arduino-Bibliothek vorhanden ist. Diese liefert aufgrund des integrierten 10bit-DAC einen Wert zwischen 0 und 1024. Zur Berechnung des tatsächlichen Wertes des FSR wird der gelesene Wert mit der Funktion map(int value, int low, int high, int toLow, int toHigh) auf einen Bereich von 0 bis 5000 extrapoliert. Der Widerstand errechnet sich aufgrund folgender Formel: R = (5000 – Ua) * 10000 / Ua Die Übertragung zum mobilen Endgerät erfolgt, wie bereits erwähnt, über das Bluetooth-Modul. Dazu wird dem Modul der Messwert als String über die serielle Schnittstelle übermittelt. Am Ende eines Messwerts folgt ein CR und LF. Am mobilen Endgerät erfolgt die Auswertung und Anzeige der übertragenen Messwerte in Echtzeit. 6.4 Entwurfsprozess Am Anfang des Prototyp-Entwurfs wurde der Aufbau mit Hilfe von Steckbrettern und Arduino-Shields realisiert. Dabei konnte bereits die Funktionalität des späteren Systems überprüft und getestet werden. Die Messwerte konnten somit bereits auf dem Smartphone mittels Bluetooth Serial Software angezeigt werden (siehe Abbildung 21). Messung 4 x 5ms Pause 1 x 80ms Messung 4 x 5ms Seite | 42 Abbildung 21 Steckbrettaufbau des GoF-Prototypen Für den GoF-Test wurde eine Messplatte mit Bolzen und Federn entworfen, die aber aufgrund der komplizierten Fertigung und Fehleranfälligkeit verworfen wurde (siehe Abbildungen 22 und 23). Abbildung 22 Prototyp 1 GoF-Test Abbildung 23 Prototyp 1 GoF-Test Seitenansicht Seite | 43 Als sehr einfache, und dabei genaue Messmöglichkeit, stellt sich die Verwendung von Flach-Scharnieren als bewegliches Element dar. Die Scharniere verbinden dabei die Messplatte mit der Hinterseite des Grundgehäuses. Gleichzeitig dient das Grundgehäuse als Auflage für den FSR und Unterbringung der elektronischen Komponenten, siehe Abbildungen 24 bis 26. Abbildung 24 Prototyp 2 GoF-Test Abbildung 25 Prototyp 2 GoF-Test mit montiertem FSR Abbildung 26 Prototyp 2 GoF-Test mit montierter Elektronik Seite | 44 7 Grading of Movement Der Grading of Movement Test soll es ermöglichen die propriozeptiven Fähigkeiten im Bereich der Armbewegung zu ermitteln. Dabei muss die Testperson mit dem Zeigefinger definierte, als auch selbstbestimmte Positionen auf einer Messplatte berühren. Die Messplatte besteht aus einem Touchscreen, inklusive zugehöriger Messelektronik, und hat eine Abmessung von ca. 500 x 400 mm. Diese Größe ist notwendig, damit die komplette Armstreckung als auch Beugung durchgeführt werden kann. Bei der Durchführung des Tests sitzt die Testperson auf einem Stuhl vor einem Tisch, auf dem die Messplatte abgelegt wird. Die Sitzhöhe wird am besten so eingestellt, dass sich der Ellbogen auf Höhe der Messplatte befindet. Der Ablauf des Tests erfolgt wie bei dem GoF-Test nach dem Task-Konzept aus Kapitel 5.4. Es werden zuerst 2 Trainings-Items ausgeführt, gefolgt von 10 Test-Items. Zur Auswahl stehen dabei unterschiedliche Test-Methoden. Einerseits der von Ayres beschriebene Sensory Integration Test, bei dem die Berührungspunkte bereits vorgegeben sind. Bei der Durchführung dieses Tests müssen diese Punkte in einer genau definierten Reihenfolge berührt werden. Eine weitere Methode wurde von Mag. Soechting entwickelt, bei der die Berührungspunkte durch die Testperson selbst definiert werden. Die dritte Möglichkeit wurde im Laufe dieser Arbeit entwickelt und wird Finger to Finger-Test genannt. Bei diesem Test wird die Messplatte ungefähr 20cm über Tischplatte positioniert, und gleichzeitig sowohl oben als auch unten mit den Zeigefingern berührt. Die detaillierte Beschreibung dieser Testmethoden sind in den nächsten Unterabschnitten 7.1. bis 7.3. zu finden. 7.1 Test nach Ayres Der Sensory Integration Test wird in seiner ursprünglichen Form auf Papier durchgeführt. Dabei sitzt die Therapeutin direkt gegenüber der Testperson und gibt die nötigen Anweisungen zur Durchführung. Auf dem Papier befinden sich 10 Vektoren, die abwechselnd mit der linken und rechten Hand am Start- und Endpunkt berührt werden müssen. Die Sicht auf diese Linien wird der Testperson verwehrt. Bei jedem Vektor wird der Zeigefinger der Testperson durch die Therapeutin zuerst auf den Startpunkt und darauffolgend auf den Endpunkt gesetzt. Danach wird die Testperson aufgefordert diesen Vorgang selbständig zu wiederholen. Die Abweichung Seite | 45 vom Referenzendpunkt wird markiert und am Ende des Tests vermessen. Daraus kann ein Gesamtergebnis errechnet werden. In der neuen elektronischen Form wird dieses Papier unter dem Touchscreen befestigt und eine Kalibrierung der Referenzpunkte durchgeführt (siehe Abbildung 27). Der Ablauf des Tests bleibt der gleiche, jedoch werden die Abweichungen automatisch erfasst und berechnet. Dadurch werden Aufwand und Messfehler im Vergleich zur manuellen Version reduziert. Abbildung 27 Ayres Sensory Integration Test auf Papier 7.2 Test nach Soechting Der von Mag. Soechting entwickelte Test, wird ebenfalls wie der Ayres Test auf der Oberseite der Messplatte durchgeführt. Das Kernelement sind die nicht definierten Endpunkte der Bewegungsvektoren. Diese werden von den Testpersonen selbst während des Ablaufs definiert. Es gibt lediglich einen definierten Startpunkt, der durch eine ca. 5 mm Erhöhung am unteren Ende der Messplatte auch taktil erfassbar ist. Von diesem Startpunkt aus bewegt die Testperson abwechselnd den linken und rechten Arm auf einen beliebigen Punkt auf der Messplatte. Dieser wird vom System gespeichert und dient als neuer Referenzendpunkt. Beim zweiten Versuch muss dieser Punkt nun erneut getroffen werden. Die Abweichung wird automatisch berechnet und abgespeichert. Die Therapeutin achtet während der Durchführung darauf, dass die Testperson nicht für alle Items den gleichen Endpunkt verwendet, und weißt die Testperson darauf hin. Seite | 46 7.3 Finger to Finger Test Das wichtigste Unterscheidungsmerkmal zu den bisherigen Testmethoden ist beim Finger to Finger Test die Verwendung der Ober- und Unterseite der Messplatte. Die Messplatte wird dabei umgekehrt auf einen Rahmen in ca. 20 cm Höhe gelegt (siehe Abbildung 29). Daher sind der Touchscreen nun auf der Unterseite, und die nicht berührungsempfindliche Rückseite oben. Auf dieser Rückseite befinden sich die Berührungspunkte des Finger to Finger Tests (siehe Abbildung 28). Diese müssen in der vorgegeben Reihenfolge abwechselnd mit dem linken und rechten Zeigefinger berührt werden. Gleichzeitig wird auch der Touchscreen an derselben Position berührt. Die geometrische Differenz dieser beiden Punkte kann errechnet werden und dient als Basis für die Bewertung des Tests. Aufgrund der Größe der Messplatte und der Abstände der Messpunkte, ist die Sicht auf die Unterseite nicht möglich. Daher muss der Punkt auf dem Touchscreen rein durch die propriozeptive Fähigkeit bestimmt werden. Mit diesem Test ist es möglich bereits früh zerebrale Dysfunktionen zu erkennen. Abbildung 28 Berührungspunkte des Finger to Finger Tests Seite | 47 Abbildung 29 Bedienung des Finger To Finger Tests 7.4 Komponenten Das Testsystem besteht aus mehreren Komponenten, die durch drahtgebundene und auch durch drahtlose Verbindungen miteinander kommunizieren. Die Hauptkomponente bildet dabei der ca. 21 Zoll große Touchscreen, der die örtliche Position in elektrische Signale umwandelt. Die Auswertung dieser Informationen übernimmt ein Touchscreen-Controller der die ausgewerteten Daten als X- und Y- Koordinaten an einen Mikrocontroller weiterleitet. Der Mikrocontroller hat dann nur noch die Aufgabe die Koordinaten an das mobile Endgerät via Bluetooth zu übertragen. 7.4.1 Touchscreen Wie bereits erwähnt, bildet der Touchscreen die Basis für das Messgerät. Er wandelt die Koordinaten eines Berührungspunkts in elektrische Signale um und stellt diese dem Controller zur Verfügung. Es gibt dabei verschiedene Verfahren zur Bestimmung dieser Koordinaten, die beispielsweise durch Verwendung von resistiven, kapazitiven oder optischen Touchscreens ermöglicht wird. Aufgrund der kraftlosen Messmethodik, fiel die Entscheidung ein kapazitives Modell zu verwenden. Verbaut wurde ein 3M SCT3250EX Touch-Panel mit 20,65 Zoll Diagonale und 5 poligen AMP- Anschlusskabel. Das Panel ist aus Glas gefertigt und erfüllt Schutzklasse IP66. Es handelt sich dabei um ein Oberflächen-kapazitives System, wodurch nur Single-Touch Messungen möglich sind. Seite | 48 Abbildung 30 3M SCT3250 Touch Panel mit 20,65 Zoll Diagonale 7.4.2 Touchscreen-Controller Zur Messpunkterfassung am Touchscreen gibt es bereits beim Hersteller verfügbare Controller, die die Auswertung wesentlich vereinfachen. Der in diesem Projekt verwendete Controller ist ein Fabrikat von 3M mit der Modellbezeichnung EXII 7720SC17 (siehe Abbildung 23). Dieser liefert die Daten auf einem Seriellen-Interface nach dem RS-232 Standard. Zur Verbindung mit dem Controller ist das Standard 3M MicroTouch RS-232 Serial Cable notwendig. Dieses ermöglicht nicht nur die Datenkommunikation sondern beinhaltet auch die Stromversorgung des Controllers. Die Versorgungsspannung beträgt 5V DC. Ein Auszug aus den Performance-Daten des Datenblatts des Herstellers: Genauigkeit >99% der echten Position Aulösung 1024 x 1024 Linearisierung Bereits durch Hersteller Spannungsversorgung 5-12 V DC +-5% Point Speed (PPS) 220 pps Minimale Touchzeit 5,4 ms Die Kommunikation mit dem Controller erfolgt über die RX- und TX-Leitung. Für jedes Kommando, dass über dir RX-Leitung gesendet wird, sendet der Controller eine 17 3M ID: EXII-7720SC (98-0003-2217-6) Seite | 49 Rückmeldung über die TX-Leitung. Ein vollständiges Kommando ist wie folgt aufgebaut:
Command Das Startzeichen eines Kommandos ist immer das
Zeichen, für das ein Wert 01 Hexadezimal gesendet wird. Im ASCII-Zeichensatz ist dieses als SOH Zeichen bekannt. Das auszuführende Kommando wird zwischen Header und Terminator eingeführt und besteht immer nur aus Großbuchstaben und Ziffern. Der Terminator folgt am Schluss des Kommandos und hat den Wert 0D hexadezimal. Im ASCII-Zeichensatz ist dies das Zeichen CR. Ein Kommando könnte beispielsweise wie folgt zusammengestellt sein: Kommando Nach jedem gesendeten Kommando folgt eine Antwort, die demselben Schema folgt wie die Anfrage. Die Auflistung der möglichen Kommandos ist in [32] zu finden. Abbildung 31 3M EXII 7720SC Controller18 18 http://solutions.3m.com Seite | 50 Abbildung 32 Der Controller ist auf der Rückseite der Messplatte integriert 7.4.3 Gehäuse Das Gehäuse für den Touchscreen und dem zugehörigem Controller wurde vollständig aus Holz gefertigt. Verwendet wurden dabei stabile Mehrschichtplatten, die auf die notwendigen Masse zugeschnitten und anschließend gefräst wurden. Der Aufbau des Gehäuses besteht aus 3 Schichten, diese sind die Bodenplatte, die Controllerplatte und der Panelrahmen. Verbunden werden diese Einzelelemente durch 8 Schrauben, wobei diese durch alle Schichten des Gehäuses reichen. Der Bauplan mit den entsprechenden Bemaßungen ist in Abbildung 33 dargestellt. Abbildung 33 Bauplan GoM Gehäuse Seite | 51 7.4.4 Kommunikationsmodul Das Kommunikationsmodul enthält die Komponenten zur Kommunikation mit dem Touchscreen-Controller, ein Bluetooth-Modul, sowie die Stromversorgung des gesamten Systems. Diese sind in einem Kompakt-Kunststoffgehäuse mit einer Abmessung von ca. 130 x 70 x 50 mm untergebracht. Die Aufgabe des Moduls besteht darin, die Koordinaten des Touch-Punktes auszulesen und an ein drahtlos verbundenes Endgerät weiterzuleiten. Die Stromversorgung erfolgt mit einem 650 mAh Lithium-Polymer Akku beziehungsweise der dazu erforderlichen Lade- und Versorgungsschaltung. Der Akku kann mit einem Mini-USB Kabel geladen werden. Die Ausgangsspannung beträgt 5V DC. Die Verbindung zum Touchscreen-Controller erfolgt mit Hilfe eines Pegelwandlers der direkt an den Arduino Micro angeschlossen ist. Dieser wandelt die Pegel von TTL auf die für die RS-232 Schnittstelle notwendigen +-15V. Der Pegelwandler wird mit 5V DC betrieben. Die Verbindung von RX und TX erfolgt auf Port 0 und 1 des Arduino. Das verwendete Bluetooth-Modul ist ein Modell Bluetooth Mate Silver mit dem Chipsatz Roving RN-42. Dieses kann ebenfalls über eine serielle RS-232 Schnittstelle angesprochen werden, wobei hier keine Pegelwandlung notwendig ist. Da der Arduino Micro nur über eine hardwaremäßige RS-232 Schnittstelle verfügt, muss diese als Software implementiert werden. Die verwendeten Ports sind 5 für TX und 6 für RX. Die notwendige Baudrate zum Modul beträgt 115200 Baud. Abbildung 34 GoM Kommunikationsmodul von Oben Pegelwandler Stromversorgung Bluetooth Mate Silver Li-Po Akku Arduino Micro Seite | 52 7.4.5 Hochrahmen Für den Finger to Finger Test ist es notwendig die Messplatte mindestens 200 mm in die Höhe zu heben, damit man problemlos das Touch-Panel von unten aus berühren kann. Dazu wurde ein Aluminiumrahmen aus L-Profilen in rechteckiger Form zusammen geschweißt. An den 4 Eckpunkten wurden, ebenfalls aus Aluminium gefertigte, zylinderförmige Aufnahmen angebracht. Diese ermöglichen den Anbau von ca. 200 mm langen Rohren die dem Rahmen den notwendigen Abstand zum Boden geben. Da diese Rohre abnehmbar ausgeführt sind, können diese auch abmontiert werden um den Transport zu erleichtern. Der Plan in Abbildung 35 zeigt die einzelnen Komponenten und deren Bemaßungen. In Abbildung 36 ist der fertige Rahmen mit darauf liegender Messplatte zu sehen. Abbildung 35 Bauplan des Hochrahmens für das GoM-System Abbildung 36 Fotos des Aluminium-Hochrahmen Seite | 53 7.5 Ablauf der Messwertabfrage Nach dem Einschalten des Kommunikationsmoduls wird die serielle Verbindung mit 9600 Baud zum Touchscreen-Controller aufgebaut. Dabei wird folgende Zeichenkette übertragen, die den Controller initialisiert. 0x01 0x46 0x54 0x0D Nach dieser Initialisierung sendet der Controller bereits Daten, sobald der Touchscreen berührt wird. Die Koordinaten werden durch jeweils 2 Byte übertragen, was bedeutet, dass es ein HIGH- und ein LOW-Byte gibt. Gespeichert werden diese Daten in folgender Struktur. struct MICROTOUCH_FT { byte status; byte x1; byte x2; byte y1; byte y2; int x; int y; }; Sobald das Zeichen 0x98 empfangen wurde, beginnt die Empfangsprozedur, welche die nächsten 5 Byte auswertet und die Struktur einfügt. Die empfangenen Bytes werden mit der Methode word in einen Integer konvertiert und in den Variablen x und y der Struktur gespeichert. Vor der Weiterleitung an das Bluetooth-Interface werden die Koordinaten, die einen Wert zwischen 0 und 32768 darstellen, auf einen Bereich von 1920 mal 1080 konvertiert. Diese Abfolge wiederholt sich bei jeder Berührung des Touchscreens. Zur Verifizierung der Funktionsweise, werden die erfassten Koordinaten zusätzlich auch auf einem in das Kommunikationsmodul integrierten Display angezeigt. Seite | 54 Die Größe des Touchscreen als auch der maximale Messwert (1920 x 1080) sind bekannt. Daraus können die Maße eines Pixels errechnet werden, die in der folgenden Tabelle dargestellt sind. x (mm) y (mm) d (mm) 417,800 317,300 524,630 mm 1 px 0,218 0,294 0,366 mm 10 px 2,176 2,938 3,656 mm Wie in den Berechnungen zu sehen ist, ist die Auflösung mit ca. 0,3 mm per Pixel für die Anwendung beim GoM-Test als ausreichend anzusehen. 7.6 Entwurfsprozess Wie bei dem GoF-Testgerät wurde auch hier zuerst ein Prototyp in kleiner Bauweise entwickelt. Dieser bestand, wie in Abbildung 31 zu sehen ist, aus einem 3,5 Zoll resistiven Touchscreen und einem Arduino Duemilanove. Nach den ersten erfolgreichen Tests wurden Attrappen und Prototypen aus Holz gefertigt. Dabei wurde auch versucht den Touchscreen durch die Verwendung eines iPad zu ersetzen, was dann jedoch aufgrund der hohen Kosten und unzureichenden Größe wieder verworfen wurde, siehe Abbildungen 37 und 38. Abbildung 37 Erster Prototyp des GoM-Geräts Seite | 55 Abbildung 38 Prototyp GoM-Gerät mit iPad In einem weiteren Schritt wurde die Hardware auf einem Steckbrett aufgebaut, welches in das Gehäuse integriert wurde (siehe Abbildung 39). Auf der Rückseite wurde eine resistiver 7 Zoll Touchscreen angebracht, der erste Testversuchte ermöglichte. Die Datenübertragung erfolgte zu diesem Zeitpunkt bereits mittels Bluetooth Technologie. Abbildung 39 Elektronik des GoM-Prototyp mit iPad Seite | 56 8 Die mobile Applikation Die Anzeige und Auswertung, der durch die Sensoren und Arduino Boards erfassten Daten, stellt ein wichtiges und notwendiges Instrument für den Bediener des Systems dar. Zu diesem Zweck wurde eine Applikation entwickelt, die auf verschiedenen mobilen Endgeräten lauffähig sein sollte. Diese wurde mit PhoneGap, HTML5 und JavaScript entwickelt. Um den Faktor Zeit, und vor allem den Entwicklungsaufwand zu reduzieren, wurde auf verfügbare Bibliotheken und Plug-Ins zurückgegriffen. Durch die Verwendung von jQuery Mobile und der D3Charts, konnte die Implementierung beschleunigt werden. 8.1 Features Die Applikation soll den Bediener im gesamten Ablauf der Tests unterstützen. Das bedeutet, von der Erfassung der Testpersonendaten bis hin zu den statistischen Berechnungen der Ergebnisse. Alle Personendaten, Testdaten und Einstellungen werden zentral in einer lokalen Datenbank gespeichert. Die Funktionalität kann grob in die folgenden Module eingeteilt werden. • Einstellungen • Patientenverwaltung • Testdurchführung • Datenaufzeichnung • Statistische Auswertungen • Mailversand der Daten Die detaillierte Beschreibung dieser Module erfolgt in Abschnitt 8.3. Seite | 57 8.2 UI-Design Das User-Interface sollte für Smartphones und Tablets optimiert implementiert werden. Daher wurden nur Bedienelemente verwendet, die auch für die Fingerbedienung geeignet sind. Die Applikation wird während des gesamten Testverlaufs nur von der Therapeutin bedient. Vor der eigentlichen Implementierung wurden mit dem Programm Pencil19 Bildschirmattrappen erstellt. Siehe Abbildungen 40 und 41. Abbildung 40 Bildschirmattrappen des GoF-Test Abbildung 41 Bildschirmattrappen des GoM-Test 19 http://pencil.evolus.vn/ Seite | 58 8.3 Module Wie bereits im Abschnitt 8.1. beschrieben wurde, besteht die Applikation aus mehreren Modulen, die im folgenden Abschnitt dargestellt werden. 8.3.1 Infos Die Informationen betreffend des Betriebssystems oder der Bildschirmauflösung wurden im Modul Infos implementiert. 8.3.2 Einstellungen Im Modul Einstellungen können die gepaarten Bluetooth Geräte und die Grundeinstellungen bezüglich der Tests verwaltet werden. 8.3.3 Personenverwaltung Die Personenverwaltung ermöglicht die Anlage, Bearbeitung und Löschung von Personen. Es können Namen, Geburtsdaten und das Geschlecht erfasst werden. Die Speicherung der Daten erfolgt in einer lokalen Datenbank. 8.3.4 Testdurchführung Durch das Modul Testdurchführung werden die beiden Tests GoF und GoM ermöglicht. Der Ablauf eines Tests erfolgt dabei vollautomatisch ohne eine notwendige Interaktion mit der Software. Unterstützt wird die Therapeutin durch die grafische Darstellung der aufgewendeten Kraft beziehungsweise durch die Darstellung der Punkte des GoM-Tests. 8.3.5 Auswertung Die Auswertungsmöglichkeiten zu einem durchgeführten Test umfassen die grafische Darstellung der Messwerte als auch die Berechnung von statistischen Kennzahlen. Die Darstellung der Werte erfolgt dabei in einem Liniendiagramm. Die gleichzeitig berechneten Kennzahlen sind das Minimum, Maximum, der Median und Mittelwert als auch die Varianz und die Standardabweichung. Die Speicherung der Daten erfolgt lokal in einer CSV-Datei. 8.3.6 E-Mail Versand Die gespeicherten Testdaten und auch die berechneten Kennzahlen können auch als E-Mail versendet werden. Dadurch ist es nicht notwendig das Endgerät zum Datentransfer mit einem PC zu verbinden. Seite | 59 8.4 Implementierung In diesem Abschnitt wird auf die Implementierung und die damit verbundenen Konfigurationen, Bibliotheken, usw. eingegangen. 8.4.1 Konfiguration In der Datei config.xml , die sich im Ordner www befindet, werden die Einstellungen betreffend des Applikationsnamens, der Autorinformation und der Startparameter eingestellt. Hier werden auch die Splashscreens und Icons definiert. 8.4.2 Plug-Ins und Bibliotheken In dieser Applikation gibt es zwei Arten von Plug-Ins. Einerseits die Plug-Ins, die von PhoneGap zum Zugriff auf die Hardware benötigt werden, und andererseits diejenigen, die die Java Script Programmierung vereinfachen. Folgende PhoneGap Plug-Ins wurden verwendet: com.jcjee.plugins.emailcomposer Ermöglich das Versenden von E-Mails mit Anhängen. com.megster.cordova.bluetoothserial Mit diesem Plug-In können Daten über die Bluetooth-Schnittstelle versendet und empfangen werden. org.apache.cordova.battery-status org.apache.cordova.device org.apache.cordova.device-orientation org.apache.cordova.dialogs org.apache.cordova.file org.apache.cordova.file-transfer org.apache.cordova.inappbrowser org.apache.cordova.media org.apache.cordova.splashscreen org.apache.cordova.vibration Mit diesen Standard-Plug-Ins kann die Hardware des Endgeräts benutzt beziehungsweise abgefragt werden. Seite | 60 Die Komponenten von jQuery und jQuery Mobile vereinfachen und beschleunigen die JavaScript-Programmierung erheblich. Daher wurde diese auch in dieser Arbeit verwendet. Verwendet wurden folgende Versionen. • jquery-2.0.3.min.js • jquery.mobile-1.4.0.js Es gibt zahllose Erweiterungen für das jQuery Framework, die beispielsweise UI- Elemente oder Timer implementieren. Das Countdown-Plug-In beinhaltet, wie der Name vermuten lässt, einen Countdown-Timer. Zur Visualisierung von begrenzten Werten, wie es beispielsweise bei Drehzahl- oder Geschwindigkeitsmessinstrumenten der Fall ist, kann das Plug-In Knob verwendet werden. Ein einfaches Tool zur Eingabe von Datumswerten stellt das Datepicker-Plug-In dar. • jquery.countdown.1.6.3 • jquery.mobile.datepicker.js • jquery.knob.js Bei beiden Tests wird der aktuelle Status auf dem Display angezeigt, sprich die aufgewendete Kraft beziehungsweise die aktuelle Position. Zur Anzeige dieser Daten werden folgende Bibliotheken verwendet. • kinetic-v5.0.0.min.js 20 • gauge.min.js 21 Zur Analyse der aufgezeichneten Daten werden Bibliotheken zur Generierung von Diagrammen verwendet. Es wird eine Bibliothek namens D3.js22 verwendet. Die Auswertung umfasst auch die Berechnung von einfachen statistischen Kenngrößen. Dies wird durch die Bibliothek Simple Statistics23 ermöglicht. 20 http://kineticjs.com/ 21 http://bernii.github.io/gauge.js/ 22 http://d3js.org/ 23 http://www.macwright.org/simple-statistics/ Seite | 61 8.4.3 Struktur Aufgrund des Code-Umfangs und der unterschiedlichen Features ist es sinnvoll, und auch notwendig, den Source-Code auf mehrere Dateien zu verteilen. Die Organisation erfolgte dabei auf Grundlage der zuvor definierten Module und stellt sich wie folgt dar. Die Einrückungen stellen dabei die hierarchische Abhängigkeit der einzelnen Module zueinander dar. index.js index_events.js index_force.js index_touch.js index_utils.js index_mail.js index_db.js index_indexeddb.js index_websql.js index_test_data.json index_test_data_force.json Die Startmethode, die die Initialisierung der Hardware, der Sounds und der Callback- Handler durchführt, ist in der Komponente index.js zu finden. 8.4.4 Datenbank Es gibt in der entwickelten Applikation insgesamt zwei Datenbank-Konnektoren, die über ein definiertes Interface angesprochen werden können. Einerseits ist es möglich WebSQL zu verwenden, andererseits kann der Zugriff aber auch mit IndexedDB erfolgen. Welche dieser beiden Konnektoren verwendet wird, entscheidet die Applikation automatisch zur Laufzeit. Die Methoden für WebSQL befinden sich im Namespace autism.webSql und sind in dem Modul index_websql.js zu finden. Die Methoden für IndexedDB befinden sich im Namespace autism.indexedDB und sind in dem Modul index_indexeddb.js zu finden. Seite | 62 8.4.5 Charts Die Darstellung von den Testergebnissen in Diagrammen wird durch die Bibliotheken D3 und Chart.js ermöglicht. Diese rendern die hinterlegten Testdaten in Liniendiagrammen auf ein Canvas-Objekt. 8.4.6 Vektorgrafiken Zur Generierung der Vektorgrafiken des GoM-Test wird die Bibliothek Kinetic JS verwendet. Diese Canvas-Bibliothek ermöglicht die Anzeige von Formen, Animationen und Überblendungen. 8.4.7 Sounds Die bei den Tests wiedergegebenen Sounds werden mit der Applikation im Ordner sound ausgeliefert. Die Speicherung dieser Dateien erfolgt im mp3-Format. 8.5 Testdaten Die Tests sind in separaten Dateien hinterlegt, deren Inhalt einem definierten Schema folgt. Dadurch ist es möglich neue Tests durch eine Konfigurationserweiterung zu implementieren. Jede Konfigurationsdatei muss eine Variable mit dem Namen test_data enhalten. var test_data = { }; In diesem Objekt können die Tests definiert werden. Dazu werden folgende Variablen definiert. "ayres": [ { title: "Test 1", hand: "right", isTraining: true, startPoint: [ 1280, 440 ], endPoint: [ 1280, 940 ], diff: [ 0, 0 ] }, … ], … Seite | 63 9 Bedienkonzept und Anleitung 9.1 GoM-Gerät 9.1.1 Vorbereitungen Zuerst muss die Kommunikations- und Steuereinheit mit Strom versorgt werden. Hierzu wird das USB-Verbindungskabel mit beispielweise mit dem USB-Port eines PC verbunden. Siehe Abbildungen 42 und 43. Abbildung 42 Herstellung der Stromversorgung am Endgerät Abbildung 43 Herstellung der Stromversorgung der Einheit Seite | 64 Als nächster Schritt wird die Messplatte mit der Steuereinheit verbunden. Dazu wird zuerst die Stromversorgung hergestellt, indem der RCA-Stecker an der Steuereinheit angeschlossen wird, siehe Abbildung 44. Abbildung 44 Stromversorgung Messplatte Danach wird der Datenstecker mit der Steuereinheit verbunden, siehe Abbildung 45. Abbildung 45 Verbindung Datenstecker mit Steuereinheit Seite | 65 Abbildung 46 Fertige Verbindungen der Steuereinheit Nun wird der Touchscreen-Controller mit dem Verbindungskabel verbunden, siehe Abbildungen 47 und 48. Abbildung 47 Verbindung Datenstecker Abbildung 48 Verbindung Stromversorgung Seite | 66 9.1.2 Start der Tests Zuerst wird die Steuereinheit aktiviert, siehe Abbildung 49. Abbildung 49 Aktivierung der Steuereinheit Danach wird Bluetooth auf dem Endgerät aktiviert und die Applikation gestartet, siehe Abbildung 50. Abbildung 50 Start der Applikation Seite | 67 Nach dem Start der Applikation wird zuerst die Bluetooth-Verbindung zum Messgerät hergestellt, siehe Abbildungen 51 bis 53. Abbildung 51 Startmaske und Verbindung des Bluetooth-Geräts Während des Verbindungsaufbaus wird auf dem Display der Text „Device Connecting“ angezeigt. Abbildung 52 Bluetooth Verbindungsaufbau Seite | 68 Nach erfolgreichem Verbindungsaufbau wird „Connected“ angezeigt. Jetzt kann der eigentliche Test beginnen. Nach der erfolgreichen Verbindungsherstellung kann mit dem GoM-Test begonnen werden. Dazu werden zuerst die Testperson und das Testschema ausgewählt. Siehe Abbildung 53. Der Test wird nun automatisch durchgeführt. Abbildung 53 Auswahl Testperson und Testdurchführung am Smartphone Seite | 69 9.2 GoF-Gerät 9.2.1 Vorbereitungen Die Messeinheit wird auf einem flachen Gegenstand, wie beispielsweise einer Tischplatte, platziert. Siehe Abbildung 54. Abbildung 54 Platzierung GoF-Messeinheit 9.2.2 Starten der Tests Zum starten des Geräts wird der Ein-Aus Schalter auf Rückseite betätigt. Siehe Abbildung 55. Abbildung 55 Einschalten des GoF-Geräts Seite | 70 Zur Sicherheit wird kontrolliert, ob die LED abwechselnd rot-grün blinkt. Siehe Abbildung 56. Abbildung 56 Kontroll-LED des GoF-Test Danach kann die Verbindung mit dem Gerät hergestellt werden. Siehe Abbildung 60. Abbildung 57 Herstellung der Verbindung mit dem GoF-Gerät Nun kann der Force-Test gestartet werden. Seite | 71 9.3 Kopplungscodes für die Bluetooth-Verbindung: Für die Verbindung des Endgerätes mit den Testgeräten sind folgende Codes für die Kopplung notwendig: Force-Test: 0000 Movement-Test: 1234 Seite | 72 10 Evaluierung Zur Evaluierung der Tests wurden unterschiedliche Testverfahren angewendet. In einem ersten Schritt wurden bei einem Funktionstest die maximale Belastbarkeit und die Genauigkeit ermittelt. Die Praxistauglichkeit wurde in einer Testreihe mit gesunden Kindern untersucht, welche in Zusammenarbeit mit einer Psychologin erfolgte. 10.1 Funktionstests Die Funktionstests sollten darüber Aufschluss geben, wie weit die Geräte belastet werden können, beziehungsweise wie genau diese Messen können. Zu diesem Zwecke wurden die beiden Tests in mehreren Versuchen mit Referenzwerten überprüft. Das GoF-Testgerät wurde bei dem Versuch mit zuvor definierten und gewogenen Gewichten belastet. Die Belastung wurde dabei in 1 kg Schritten kontinuierlich erhöht, bis diese bei 8 kg angelangt war. Insgesamt wurden so 4 Testläufe durchgeführt, wodurch 36 Messwerte aufgezeichnet werden konnten. Durch eine Auswertung dieser Messwerte stellte sich heraus, dass die gemessenen Werte nahezu linear mit der Gewichtsbelastung ansteigen (siehe Abbildung 58). Die durchschnittliche Abweichung vom Mittelwert der 4 Testläufe beträgt ca. 1,84 %. Dadurch konnte die Reproduzierbarkeit des Versuchs und die daraus resultierende Robustheit bestätigt werden. Abbildung 58 Diagramm der Messwerte des GoF-Test Seite | 73 Die Evaluierung des GoM-Test stellte sich als schwierig heraus, da hier keine absoluten Referenzwerte zur Verfügung stehen. Zur Verifizierung der Genauigkeit und Repetierbarkeit wurden zwei unterschiedliche Tests durchgeführt. Bei beiden wurden unter der Glasplatte Referenzpunkte markiert, die aber keine definierte Position hatten. Beim ersten Test sollte ein Kind mit dem Zeigefinger mindestens 4-mal einen Referenzpunkt berühren. Dieser Referenzpunkt wurde zuvor mit einem Touch-Stift eingemessen und die Werte notiert. Die Ausführung hatte keine zeitliche Beschränkung und die Sicht auf die Punkte war möglich. Insgesamt wurden 3 Referenzpunkte in 8 Durchläufen berührt, woraus sich 96 Messwerte ergeben. Durchschnittlich ergibt sich daraus eine Abweichung von 0,37 %, was ca. 3 mm entspricht. Da die Größe einer Fingerkuppe im Durschnitt mehr als 10 mm beträgt, kann die Genauigkeit als ausreichend angenommen werden. Abbildung 59 Diagramm der Abweichungen beim GoM-Test Der zweite Test hatte denselben Versuchsaufbau wie der vorherige Test, nur dass das statt eines Referenzpunktes eine Referenzlinie mit 50 und 100 mm berührt werden musste. Vor dem Versuchsbeginn wurden 6 dieser Linien mit der jeweiligen Länge unter dem Touchscreen angebracht und eingemessen. In insgesamt 3 Durchläufen mit 4 Versuchen pro Linie wurden 144 Messpunkte erfasst. Bei den Linien mit 50 mm stellte sich eine durchschnittliche Abweichung von 2,41 mm heraus, wohingegen bei Seite | 74 den Linien mit 100 mm die Abweichung 4,55 mm betrug. Die durchschnittliche Längenabweichung beträgt gesamthaft also 3,50 mm, was einer relativen Abweichung von ca. 4,69 % entspricht. Die einzelnen Abweichungen sind in der folgenden Abbildung 60 und 61 dargestellt. Abbildung 60 Diagramm der Abweichungen beim GoM-Test 50 mm Abbildung 61 Diagramm der Abweichungen beim GoM-Test 100 mm Seite | 75 10.2 Testreihe mit gesunden Kindern Zusätzlich zu den bereits vorgestellten Funktionstests wurde eine Testreihe mit normal entwickelten Kindern durchgeführt, um den Testablauf und die Bedienbarkeit zu überprüfen. Diese Testreihe wurde mit Unterstützung einer Psychologin durchgeführt, und zeigte einige Schwächen des Systems auf. Beispielsweise versuchten die Kindern immer wieder zu schummeln, was dazu führte, dass ein Sichtschutz verwendet werden musste. Die Testgruppe bestand aus 4 Kindern, davon 2 Mädchen im Alter von 5 und 8 Jahren, und 2 Buben im Alter von 10 und 11 Jahren. Jedes der Kinder absolvierte jeweils 10 Test-Items des GoF- und GoM-Tests. Zur Analyse wurden in weiterer Folge aber nur die Daten von 3 Kindern verwendet. Die gewonnenen Daten sind in der unten stehenden Tabelle ersichtlich. Diese beschreibt die minimalen und durchschnittlichen Abweichungen. Die Werte sind als Rohmesswerte zu verstehen und dienen einem Vergleich zwischen den unterschiedlichen Kindern. Person GoF GoM Avg. Min. Avg. Min. Girl 1 341 0 20 7 Boy 1 253 40 7 0 Boy 2 303 75 26 1 Wie die Tests durchgeführt wurden, und wie die Kinder die Messgeräte bedient haben, ist in den nächsten Abbildungen 62 bis 64 zu sehen. Abbildung 62 Versuchsaufbau GoF-Test Seite | 76 Abbildung 63 Versuchsaufbau GoM-Test Abbildung 64 GoM-Test mit Blende Seite | 77 11 Zusammenfassung und Ausblick In dieser Arbeit wurden in Zusammenarbeit mit einer Psychologin, Tests zur Ermittlung der propriozeptiven Fähigkeiten von Kindern entworfen, implementiert und evaluiert. Es wurden dabei Geräte mit Kraftsensoren und Touchscreens ausgestattet, die es ermöglichen sollen, Unterschiede zwischen normal entwickelten Kindern und Kindern mit Autismus zu finden. Die Auswertung der Sensoren erfolgt dabei mit günstigen Arduino-Boards, wobei die so gewonnen Daten in weiterer Folge an ein Smartphone oder Tablet drahtlos übertragen werden. Auf dem mobilen Endgerät läuft eine Applikation, die weitere Berechnungen und statistische Auswertungen durchführt, und diese auch lokal für spätere Zwecke abspeichert. Diese Applikation wurde plattformunabhängig mit HTML5 und PhoneGap entwickelt, und kann somit auf unterschiedlichen Endgeräten installiert werden. In zwei unabhängigen Evaluierungsschritten konnte die Leistungsfähigkeit des implementierten Systems aufgezeigt werden. Zuerst wurde das System mit objektiven und reellen Vergleichsmitteln auf die möglichen Grenzwerte und die Genauigkeit hin überprüft. Danach wurden in einer zweiten Evaluierung, normal entwickelte Kinder von einer Psychologin mit Hilfe des neuen Systems hinsichtlich ihrer Fähigkeiten untersucht. Dadurch konnten weitere Erkenntnisse für Verbesserungen gewonnen werden. Für zukünftige Tests könnten auch weitere Messmethoden untersucht werden. Möglicherweise könnte die Erfassung von Arm- und Handpositionen gute Unterscheidungsmerkmale zwischen normal entwickelten Kindern und Kindern mit Autismus liefern. Dazu könnten auch zusätzlich Daten einer Tiefenkamera hinzugezogen werden. In weiterer Folge werden von der beteiligten Psychologin Evaluierungen mit autistischen Kindern erfolgen, um die vermuteten Unterschiede zu normal entwickelten Kindern zu bestätigen. Seite | 78 12 Danksagung Bedanken möchte ich mich bei allen, die mir im Studium zur Seite gestanden sind und bei der Erreichung meines Zieles geholfen haben. Besonders bedanken möchte ich mich aber bei den Betreuern meiner Diplomarbeit, Dipl.-Ing. Christian Schönauer und Dr. Hannes Kaufmann, die mir immer mit gutem Rat zur Seite standen. bei meiner Kollegin Mag. Elisabeth Söchting, für die kritische Betrachtung, Datenerhebung und Tests der entwickelten Prototypen. bei Manfred Schenk, Markus Schmöllerl und Martin Sprengnagel für die Unterstützung beim Bau der Gehäuse und Vorrichtungen. bei meinen Studienkollegen Richard, Christian und Johannes, die mich fast durch das ganze Studium hin begleitet haben. bei meiner Familie, ohne deren Unterstützung mein Studium wahrscheinlich nicht möglich gewesen wäre. bei Thomas Linzbauer, ohne den ich wahrscheinlich nicht in der Welt der Informatik gelandet wäre. Seite | 79 13 Abbildungsverzeichnis Abbildung 1 Übersicht Autismus-Spektrum-Störung [12] .......................................... 10 Abbildung 2 Bluetooth Serial Port Profile Stack ...................................................... 18 Abbildung 3 Schichtenaufbau eines FSR [26]............................................................. 19 Abbildung 4 Schematische Darstellung der Möglichkeiten zur Kraftmessung [28] ..... 19 Abbildung 5 FSR - Messung mit Spannungsteiler [26] ............................................... 20 Abbildung 6 FSR - Vergleich Kraft und Vout [26] .................................................... 20 Abbildung 7 Schema des oberflächen-kapazitiven Touchscreen ................................ 22 Abbildung 8 Unterstützungsmatrix für WebSQL ...................................................... 25 Abbildung 9 Unterstützungsmatrix für IndexedDB ................................................... 26 Abbildung 10 Registrierung Adobe ID für Adobe PoneGap Build ............................. 27 Abbildung 11 Upload-Prozess des PhoneGap Build-Service ...................................... 28 Abbildung 12 Abschluss der PhoneGap-Erstellung .................................................... 28 Abbildung 13 Rollen der Use-Case Analyse ............................................................... 32 Abbildung 14 Use-Case Diagramm des implementierten Systems .............................. 33 Abbildung 15 3D Modell des GoM-Test .................................................................... 36 Abbildung 16 Erste Attrappe des GoM-Test ............................................................. 36 Abbildung 17 Foto des Interlink FSR 406 ................................................................. 38 Abbildung 18 Arduino Uno mit Bluetooth Modul ..................................................... 38 Abbildung 19 Stromversorgung Li-Po Rider .............................................................. 39 Abbildung 20 Zyklus der FSR Messung ..................................................................... 41 Abbildung 21 Steckbrettaufbau des GoF-Prototypen ................................................ 42 Abbildung 22 Prototyp 1 GoF-Test ........................................................................... 42 Abbildung 23 Prototyp 1 GoF-Test Seitenansicht ..................................................... 42 Abbildung 24 Prototyp 2 GoF-Test ........................................................................... 43 Abbildung 25 Prototyp 2 GoF-Test mit montiertem FSR ......................................... 43 Abbildung 26 Prototyp 2 GoF-Test mit montierter Elektronik ................................. 43 Abbildung 27 Ayres Sensory Integration Test auf Papier .......................................... 45 Abbildung 28 Berührungspunkte des Finger to Finger Tests ..................................... 46 Abbildung 29 Bedienung des Finger To Finger Tests ................................................ 47 Abbildung 30 3M SCT3250 Touch Panel mit 20,65 Zoll Diagonale ........................... 48 Abbildung 31 3M EXII 7720SC Controller ................................................................ 49 Abbildung 32 Der Controller ist auf der Rückseite der Messplatte integriert ............ 50 Abbildung 33 Bauplan GoM Gehäuse ........................................................................ 50 Seite | 80 Abbildung 34 GoM Kommunikationsmodul von Oben .............................................. 51 Abbildung 35 Bauplan des Hochrahmens für das GoM-System ................................. 52 Abbildung 36 Fotos des Aluminium-Hochrahmen...................................................... 52 Abbildung 37 Erster Prototyp des GoM-Geräts ........................................................ 54 Abbildung 38 Prototyp GoM-Gerät mit iPad ............................................................ 55 Abbildung 39 Elektronik des GoM-Prototyp mit iPad .............................................. 55 Abbildung 40 Bildschirmattrappen des GoF-Test ..................................................... 57 Abbildung 41 Bildschirmattrappen des GoM-Test ..................................................... 57 Abbildung 42 Herstellung der Stromversorgung am Endgerät ................................... 63 Abbildung 43 Herstellung der Stromversorgung der Einheit ...................................... 63 Abbildung 44 Stromversorgung Messplatte ................................................................ 64 Abbildung 45 Verbindung Datenstecker mit Steuereinheit ........................................ 64 Abbildung 46 Fertige Verbindungen der Steuereinheit .............................................. 65 Abbildung 47 Verbindung Datenstecker .................................................................... 65 Abbildung 48 Verbindung Stromversorgung .............................................................. 65 Abbildung 49 Aktivierung der Steuereinheit .............................................................. 66 Abbildung 50 Start der Applikation .......................................................................... 66 Abbildung 51 Startmaske und Verbindung des Bluetooth-Geräts ............................. 67 Abbildung 52 Bluetooth Verbindungsaufbau ............................................................. 67 Abbildung 53 Auswahl Testperson und Testdurchführung am Smartphone .............. 68 Abbildung 54 Platzierung GoF-Messeinheit ............................................................... 69 Abbildung 55 Einschalten des GoF-Geräts ................................................................ 69 Abbildung 56 Kontroll-LED des GoF-Test ................................................................ 70 Abbildung 57 Herstellung der Verbindung mit dem GoF-Gerät ................................ 70 Abbildung 58 Diagramm der Messwerte des GoF-Test .............................................. 72 Abbildung 59 Diagramm der Abweichungen beim GoM-Test .................................... 73 Abbildung 60 Diagramm der Abweichungen beim GoM-Test 50 mm ........................ 74 Abbildung 61 Diagramm der Abweichungen beim GoM-Test 100 mm ...................... 74 Abbildung 62 Versuchsaufbau GoF-Test ................................................................... 75 Abbildung 63 Versuchsaufbau GoM-Test .................................................................. 76 Abbildung 64 GoM-Test mit Blende .......................................................................... 76 Seite | 81 14 Literaturverzeichnis [1] W. H. Organization. (2010). International Classification of Diseases (ICD). Available: http://www.who.int/classifications/icd/en/ [2] J. Baio, "Prevalence of Autism Spectrum Disorders: Autism and Developmental Disabilities Monitoring," Centers for Disease Control and Prevention, Network, 14 Sites, United States 1546-0738, 2012. [3] W. Dunn, "The Sensory Profile manual," San Antonio, 1999. [4] N. Razali and A. W. A. Rahman, "Motor movement for autism spectrum disorder (ASD) detection," in International Conference on Information and Communication Technology for the Muslim World (ICT4M), 2010, pp. E90- E95. [5] N. Aresti Bartolome, A. Mendez Zorrilla, and B. Garcia Zapirain, "Autism Spectrum Disorder children interaction skills measurement using computer games," in 18th International Conference on Computer Games: AI, Animation, Mobile, Interactive Multimedia, Educational & Serious Games (CGAMES), 2013, pp. 207-211. [6] M. Frutos, I. Bustos, B. G. Zapirain, and A. M. Zorrilla, "Computer game to learn and enhance speech problems for children with autism," in 16th International Conference on Computer Games (CGAMES), 2011, pp. 209-216. [7] P. Perego, S. Forti, A. Crippa, A. Valli, and G. Reni, "Reach and throw movement analysis with support vector machines in early diagnosis of autism," in Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2009, pp. 2555-2558. [8] M. Riederer, C. Schoenauer, H. Kaufmann, E. Soechting, C. Lamm, "Development of Tests to Evaluate the Sensory Abilities of Children with Autism Spectrum Disorder using Touch and Force Sensors," in 4th International Conference on Wireless Mobile Communication and Healthcare (MobiHealth 2014), Athens, Greece, 2014, p. 4. [9] F. R. Volkmar, C. Lord, A. Bailey, R. T. Schultz, and A. Klin, "Autism and pervasive developmental disorders," Journal of Child Psychology and Psychiatry, vol. 45, pp. 135-170, 2004. [10] M. Randolph-Gips, "Autism: A Systems Biology Disease," in First IEEE International Conference on Healthcare Informatics, Imaging and Systems Biology (HISB), 2011, pp. 359-366. Seite | 82 [11] A. J. R. Ayres, J., Bausteine der kindlichen Entwicklung : sensorische Integration verstehen und behandeln ; das Original in moderner Neuauflage / A. Jean Ayres. Überarb. und erw. durch das Pediatric Therapy Network. Aus dem Amerikan. übers. von Elisabeth Soechting Berlin: Springer, 2013. [12] G. Barth. (2010, 30.05.2014). Autismus. Available: http://www.medizin.uni- tuebingen.de/ppkj/ [13] K. Wietfeld, "Was ist Propriozeption," Orthopädie-Technik, vol. 11, pp. 802- 803, 2003. [14] C. Fuentes, S. Mostofsky, and A. Bastian, "No Proprioceptive Deficits in Autism Despite Movement-Related Sensory and Execution Impairments," Journal of Autism and Developmental Disorders, vol. 41, pp. 1352-1361, 2011/10/01 2011. [15] G. Pioggia, R. Igliozzi, M. Ferro, A. Ahluwalia, F. Muratori, and D. De-Rossi, "An android for enhancing social skills and emotion recognition in people with autism," IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 13, pp. 507-515, 2005. [16] C. Yiyu, N. K. H. Chia, D. Thalmann, N. K. N. Kee, Z. Jianmin, and N. M. Thalmann, "Design and Development of a Virtual Dolphinarium for Children With Autism," IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 21, pp. 208-217, 2013. [17] N. Bugnariu, C. Garver, C. de Weerd, E. van Loon, C. Young, K. Rockenbach, R. Longnecker, and R. M. Patterson, "Motor function in children with Autism spectrum disorders," in International Conference on Virtual Rehabilitation (ICVR), 2013, pp. 51-56. [18] J. P. Hourcade, N. E. Bullock-Rest, and T. E. Hansen, "Multitouch tablet applications and activities to enhance the social skills of children with autism spectrum disorders," Personal Ubiquitous Comput., vol. 16, pp. 157-168, 2012. [19] F. Taffoni, V. Focaroli, D. Formica, E. Gugliemelli, F. Keller, and J. M. Iverson, "Sensor-based technology in the study of motor skills in infants at risk for ASD," in 4th IEEE RAS & EMBS International Conference on Biomedical Robotics and Biomechatronics (BioRob), 2012, pp. 1879-1883. [20] A. Elnakib, M. F. Casanova, G. Gimel'farb, A. E. Switala, and A. El-Baz, "Autism diagnostics by centerline-based shape analysis of the Corpus Callosum," in IEEE International Symposium on Biomedical Imaging: From Nano to Macro, 2011, pp. 1843-1846. Seite | 83 [21] C. Tsung Teng and M. Lee, "Ubiquitous Computing in Prospect: A Bibliographic Study," in Ubiquitous Multimedia Computing, 2008. UMC '08. International Symposium on, 2008, pp. 57-62. [22] G. H. Schildt, Einführung in die Technische Informatik: Springer Wien New York, 2005. [23] mikrocontroller.net. (2014, 05.11.2014). I2C. Available: http://www.mikrocontroller.net/articles/I%C2%B2C [24] Mikrocontroller.net. (2014, 05.11.2014). Serial Peripheral Interface. Available: http://www.mikrocontroller.net/articles/Serial_Peripheral_Interface [25] Bluetooth SIG. (2014, 05.11.2014). Specification Adopted Documents. Available: https://www.bluetooth.org/en-us/specification/adopted-specifications [26] I. Electronics. (2013, 11.01.2014). FSR Force Sensing Resistors - Integration Guide [PDF]. Available: http://www.digikey.com/Web%20Export/Supplier%20Content/InterlinkElectro nics_1027/PDF/Interlink_Electronics_Integration_Guide.pdf?redirected=1 [27] S. I. Yaniger, "Force Sensing Resistors: A Review Of The Technology," in Electro International, 1991, pp. 666-668. [28] O. M. Labs. (2014, 22.02.2014). Force Sensitive Resistors (FSRs). Available: http://www.openmusiclabs.com/learning/sensors/fsr/ [29] N. Semiconductors, "Interfacing 4-wire and 5-wire resistive touchscreens," 13.11.2008, 2008. [30] A. S. Incorporated. (2014, 10.04.2014). PhoneGap Build Documentation. Available: http://docs.build.phonegap.com/en_US/3.3.0/index.html [31] A. J. Ayres, "The Sensory Integration and Praxis Tests," Los Angeles, CA1989. [32] 3M Touch Systems Inc., "3M MicroTouch Controller EX Serial Reference Guide," 2011. Seite | 84 15 Anhang Projektplan Das Projekt „Diplomarbeit“ wurde in 5 Teilabschnitte gegliedert, wobei zuerst mit der Entwicklung eines Prototyps begonnen wurde. Parallel dazu war die Literaturrecherche geplant, wobei diese bis zum Ende der Entwicklungsarbeiten andauern sollte. Zu Beginn war der Fortschritt bei der Entwicklung des Prototyps sehr groß, wobei dieser zum Jahresende weniger wurde. Die Implementierung war mit 16 Tagen zu gering geschätzt, da diese bis Ende Februar 2014 andauerte. Durch einige Iterationen mit Tests und Verbesserungen, wurde die Phase 2 im April 2014 abgeschlossen. Das Schreiben der schriftlichen Arbeit konnte daher erst später begonnen werden, und dauerte länger als geplant. Im November 2014 wurde die Phase 3 abgeschlossen und mit dem Abschluss begonnen. Die geplanten 10 Tage konnten hier eingehalten werden.