Accuracy of marker actions for the offline synchronization of wearable devices

Abstract

Tragbare Bewegungssensoren ermöglichen die Erfassung menschlicher Aktivitäten und bilden die Grundlage der Human Activity Recognition. Der Einsatz mehrerer Inertial Measurement Units (IMUs) erlaubt eine genauere Analyse, da Bewegungen an verschiedenen Körperstellen parallel aufgezeichnet werden können. Damit einher geht jedoch die Anforderung einer zeitlichen Synchronisation dieser Sensoren, um sicherzustellen, dass Ereignisse, die in der realen Welt gleichzeitig auftreten, auch in den Sensorsignalen zeitlich ausgerichtet sind. Ohne eine gemeinsame Zeitbasis ist diese Synchronisation aufgrund von Uhrendrift, Übertragungsverzögerungen und insbesondere ungenauen Startzeitpunkten der Aufzeichnungen schwierig zu realisieren. Diese Arbeit verfolgt einen datengetriebenen Synchronisationsansatz, bei dem bewusst ausgeführte Bewegungen, sogenannte Markeraktionen (MAs), zur zeitlichen Ausrichtung von IMU-Signalen an unterschiedlichen Körperpositionen genutzt werden. Untersucht wird, welche Signalcharakteristika zu robusten Synchronisationsereignissen beitragen und wie sich die Synchronisationsleistung über verschiedene Sensorpositionen hinweg unterscheidet.In einer kontrollierten Nutzer_innenstudie führen Teilnehmende acht vordefinierte MAs aus, während sie einen Motion-Capturing-Anzug mit 17 über den Körper verteilten, hardware-synchronisierten IMUs tragen. Die MAs erzeugen charakteristische Signalverläufe, die genutzt werden, um korrespondierende Ereignisse in den Sensorsignalen verschiedener Körperpositionen einander zuzuordnen. Dadurch entstehen zeitliche Verschiebungen zwischen den Sensorströmen, die mittels fensterbasierter Kreuzkorrelation auf Basis des Pearson-Korrelationskoeffizienten auf diese ereigniszentrierten Signalabschnitte geschätzt werden. Die Qualität dieser nachträglichen Synchronisation wird über die MAs und Sensorpositionen hinweg anhand statistischer Kennwerte sowie Körperkarten-Visualisierungen analysiert. Auf Grundlage der aufgezeichneten Daten konnte gezeigt werden, dass kurze, impulsartige Bewegungen mit hoher Signaldynamik zu konsistenterer und stabilerer zeitlicher Ausrichtung führen als langsame oder gleichmäßige Übergänge. Periodische oder bewegungsarme Aktionen weisen hingegen eine erhöhte Mehrdeutigkeit und Variabilität der bestimmten zeitlichen Verschiebungen auf. Während Gehen eine Genauigkeit von 4,8 ms für eine Ganzkörpersynchronisation erreichte, zeigen Aktionen wie Klatschen eine eher lokale Wirkung und resultieren in einer Genauigkeit von 17,0 ms, die sich auf den Oberkörper beschränkt. Diese Ergebnisse unterstreichen die Bedeutung der Auswahl geeigneter MAs und Sensorpositionen für eine robuste datengetriebene Sensorsynchronisation in Anwendungen der Aktivitätserkennung.

Wearable motion sensors enable the capture of human activities and form the basis of human activity recognition. The use of multiple inertial measurement units (IMUs) worn simultaneously allows for more fine-grained analysis because motions can be recorded at multiple body locations simultaneously. With this comes the requirement of reliable temporal synchronization of these sensors to ensure that events that occur at the same time in the real-world are also temporally aligned within the sensor signals. Without a common time base, this synchronization is difficult to achieve due to clock drift, transmission delays, and, in particular, inaccurate start times of recordings. This thesis uses a data-driven synchronization approach in which deliberately performed movements, referred to as marker actions, are used to temporally align IMU signals recorded at different body locations. The work investigates which signal characteristics contribute to robust synchronization events and systematically evaluates how synchronization performance varies across different sensor placements.In a controlled user study, participants perform eight predefined MAs while wearing a motion-capturing suit equipped with 17 hardware-synchronized IMUs distributed across the entire body. The MAs produce distinctive, time-localized signal patterns that are used to match corresponding events across sensor streams from different body locations. This introduces temporal offsets between the sensor streams, which are estimated by applying windowed cross-correlation based on the Pearson correlation coefficient to these event-centered signal segments. The quality of this post-hoc synchronization is analyzed across different MAs and sensor positions using statistical measures and body-map visualizations. Based on the recorded data, it was shown that short, impulsive movements with high signal dynamics lead to more consistent and stable temporal alignment than slow or smooth transitions. In contrast, periodic or low-dynamic movements exhibit increased ambiguity and variability in the determined temporal offsets. While walking achieved 4.8 ms accuracy for full-body synchronization, actions such as clapping have a rather local effect and result in 17.0 ms accuracy for only the upper body. These results highlight the importance of marker action selection and sensor placement for robust data-driven sensor synchronization in activity recognition applications.