Impact of time discrepancy on machine learning models for human activity recognition

Abstract

Der Bereich der menschlichen Aktivitätserkennung mit tragbaren Sensoren kann das tägliche Leben in mehrfacher Hinsicht beeinflussen. Dabei wird jedoch ein wichtiger Faktor oft vernachlässigt. Die Zeitsignale von verschiedenen Sensoren in Sensornetzwerken sollten synchronisiert sein, um somit eine bessere Genauigkeit zu gewährleisten. Praktisch existieren jedoch gewisse Zeitunterschiede zwischen einzelnen Sensoren. Diese werden unter anderem durch Laufzeitdifferenzen in der Datenübertragung oder durch Ungenauigkiten von den verbauten Quarzen verursacht. Diese Diplomarbeit befasst sich mit den verschiedenen Arten von Zeitunterschieden, im Speziellen bei Sensordaten in Form von Zeitreihen. Dafür wird eine Pipeline entwickelt, mit welcher verschiedene Arten von Zeitunterschieden auf Zeitsignale von mehreren inertialen Messeinheiten angewandt werden können. Mit diesen kontrolliert veränderten Zeitsignalen wird ein Machine Learning Modell trainiert. Bei dem Machine Learning Modell wird dabei auf ein bekanntes und für Aktivitäten aus dem täglichen Leben entwickeltes Modell aufgebaut. Um eine allgemeinere Aussage über mögliche Effekte und Auswirkungen von Zeitunterschieden treffen zu können, werden mehrere Machine Learning Modelle, welche sich in deren Komplexität unterscheiden und verschiedene Längen für die Eingangssignale besitzen, verwendet. Basierend auf den Genauigkeitsverlusten wird rückgeschlossen wie stark sich verschiedene Zeitunterschiede auf die Leistung und die Erkennung auswirken. Diese Arbeit soll einen Beitrag zum Verständnis der Auswirkungen von zeitlichen Diskrepanzen leisten.Die Forschungsfragen konnten mit den Ergebnissen der Arbeit erfolgreich belegt werden. Minimale Taktverschiebungen, ab bereits 5 Zeiteinheiten, führen bei den untersuchten Machine Learning Modellen bereits zu Verlusten in der Genauigkeit um bis zu 12,56% und zu einem verringerten F1-Score um bis zu 22,43%. Die maximale Taktverschiebung zwischen den Signalen der verschiedenen Sensoren sollte deshalb kleiner als 0,06 bis 0,15 Sekunden sein. Am stärksten wirken sich Zeitunterschiede während des Trainings eines Machine Learning Modells aus. Die Frequenzabweichung von gängigen Quarzoszillatoren wirkt sich nicht auf die Leistungsfähigkeit der Modelle aus. Diese reduziert sich erst bei einer Abweichung der Frequenz von 2000 ppm. Jedoch bringen Frequenzabweichungen eine akkumulierende Taktverschiebung mit sich, welche die Genauigkeit der Modelle reduziert. Bei einer Abtastfrequenz von 33 Hz und einer Frequenzabweichung des Oszillators von ±100 ppm beträgt der Taktversatz nach einer Stunde bereits 0,36 Sekunden. Deshalb ist eine regelmäßige Synchronisierung des Taktes erforderlich, um eine Taktverschiebung und somit Verluste in der Leistungsfähigkeit zu vermeiden.

Human activity recognition with wearable sensors can impact daily life in many ways. However, one important factor is often neglected. The time signals from different sensors in sensor networks should be synchronized to ensure better accuracy and data analysis. In practice, however, there are certain time discrepancies between individual sensors. These are caused, among other things, by runtime differences in data transmission or by inaccuracies in the quartz crystals used. This diploma thesis deals with the different types of time differences, particularly sensor data in the form of time series. Therefore, a pipeline is developed to implement different types of time differences to time signals from multiple inertial measurement units. A machine learning model is trained with these controlled, modified time signals. The machine learning model is based on a known model developed for activities of daily living. To make a more general statement about the possible effects and impacts of time differences, several machine learning models are used, which differ in their complexity and different lengths of the input signals. Based on the accuracy losses, it is concluded how strongly time differences affect performance and recognition. This work aims to contribute to the understanding of the effects of different temporal discrepancies.The research questions were successfully answered with the results of the work. Minimal clock skews, from as little as 5 time units, already lead to losses in accuracy of up to 12.56% and a reduced F1-score of up to 22.43% in the machine learning models investigated. The maximum clock skew between the signals of the different sensors should, therefore, be less than 0.06 to 0.15 seconds. Time discrepancies have the greatest influence during the training of a machine learning model. Clock drifts of common quartz oscillators do not affect the performance of the models. This is only reduced at drifts of 2,000 ppm. However, clock drifts result in an accumulative clock skew, which reduces the accuracy of the models. With a sampling frequency of 33 Hz and a clock drift of the oscillator of ±100 ppm, the clock skew accumulates to 0.36 seconds in the span of one hour. Therefore, regular synchronization of the clock is necessary to avoid clock skew and, thus, losses in performance.