The detection and characterization of movement patterns presented in sleep related movement disorders using a 3D time-of-flight camera

Abstract

Schlafbezogene Bewegungsstörungen wie die periodische Beinbewegungsstörung oder die rhythmische Bewegungsstörung zeichnen sich durch relativ simple und stereotypische Bewegungen aus. Mögliche Konsequenzen sind Tagesmüdigkeit, erhöhter Blutdruck und Stress. Die genaue Bestimmung des Störungsgrades ist für eine akkurate Behandlung essentiell. Methoden zur Bestimmung des Störungsgrades existieren, zeigen jedoch Einschränkungen in der Anwendung. Die Polysomnographie (PSG), zum Beispiel, ist die meist genutzte Methode zur Bewertung von periodischen Beinbewegungen. Sie ist jedoch von der Qualität der Elektrodenkontakte abhängig, da sie die Elektromyographie zur Aktivitätsmessung der Beine verwendet. Zusätzlich werden Beinbewegungen nur dann von der Elektromyographie registriert, wenn der Muskel, an dem die Elektroden montiert wurden, aktiviert wird. Manuelles annotieren von 2D-Infrarotvideos wird in der klinischen Praxis häufig verwendet um rhythmische Bewegungen zu bewerten. 2D-infrarotvideos unterstützen auch häufig die Bewertung von periodischen Beinbewegungen in Verbindung mit der PSG. Das in dieser Studie präsentierte 3D-System stellt eine Alternative zu herkömmlich angewandten Methoden zur Bestimmung des Schweregrades von schlafbezogenen Bewegungsstörungen dar. Ziel dieser Methode ist es, die Schwächen der aktuell genutzten Methoden zu überwinden, um eine bessere Abschätzung des Schweregrades zu erhalten.Dazu wurde eine 3D-Time-of-Flight Kamera an der Decke über dem im Bett liegenden Patienten montiert. Die Kamera zeichnete die Szene in drei Dimensionen auf. Das Time-of-Flight Prinzip ermittelt Distanzen durch Messen der Zeit, die ein von der Kamera ausgesendeter Infrarotstrahl benötigt um zum Sensor der Kamera zurückzukehren nachdem er von einem Objekt in der Szene reflektiert wurde. Ein Algorithmus quantifizierte Bewegungen basierend auf der zeitlichen Änderung der Tiefe im 3D-Video.Die Bewegungsdetektion wurde zuerst in einem Experiment validiert. Dazu wurde der Patient durch einen Computergesteuerten Hubtisch ersetzt. Bewegungen mit minimalen Amplituden ab 3 mm wurden zuverlässig detektiert. Eine Evaluierung an klinischen Daten zeigte, dass 93.9 % aller PSG detektierten Beinbewegungen auch vom 3D-System detektiert wurden. Das 3D-System detektierte 25.1 % mehr Beinbewegungen als die PSG.In einem nächsten Schritt wurde das 3D-System weiterentwickelt um spezifische Bewegungsmuster, wie sie bei schlafbezogenen Bewegungsstörungen auftreten, zu detektieren. Rhythmische Bewegungen wurden durch das Klassifizieren von drei-Sekunden langen Abschnitten anhand frequenz-basierter, manuell gefertigter Eigenschaften und maschinellen Lernens detektiert. Manuell annotierte rhythmische Bewegungen wurden mit einer Genauigkeit von 99.0 %, einem F1-Wert von 91.8 % und einem Cohen’s Kappa von 91.3 % vom 3D-System detektiert. Neu entwickelte Indizes und Plots zur Bewertung von rhythmischen Bewegungen demonstrierten wie die Analyse von rhythmischen Bewegungen verbessert werden kann und setzten so die Basis für eine standardisierte Quantifizierung. Für die Detektion periodischer Beinbewegungen wurden die aktuellen Empfehlungen der Schlafgesellschaften verwendet. An klinischen Daten zeigte sich, dass das 3D-System gut mit der Polysomnoghraphie übereinstimmte: 83.8 % aller PSG detektierten periodischen Beinbewegungen wurde auch vom 3D-System detektiert. Das 3D-System detektierte 21.0 % mehr periodische Beinbewegungen als die PSG. Es wurde gezeigt, dass vom 3D-System zusätzlich detektierte Bewegungen hinsichtlich der Fragmentierung des Schlafes eine mindestens gleich hohe klinische Relevanz haben wie PSG detektierte Bewegungen. Die Kombination aus 3D-System und PSG resultierte in einer 92.07 % Übereinstimmung aller PSG-detektierten periodischen Beinbewegungen.Detektionsunterschiede zwischen dem 3D-System und PSG resultieren höchst wahrscheinlich daraus, dass das 3D-System alle Muskeln überwacht während beim PSG nur Bewegungen jener Muskeln gemessen werden, an welchen Elektroden montiert wurden. Das 3D-System erfasste daher ein vollständigeres Spektrum an Bewegungen. Ein weiterer Vorteil des 3D-Systems ist seine kontaktlose und automatisierte Anwendung, welche ein natürliches Schlafverhalten fördert und eine einfache Applikation ermöglicht.Aus den Ergebnissen dieser Arbeit kann geschlussfolgert werden, dass mittels 3D-Monitoring unterschiedliche im Schlaf auftretende Bewegungsmuster detektiert und charakterisiert werden können und dadurch die Abschätzung des Schweregrades von schlafbezogenen Bewegungsstörungen verbessert werden kann. Zukünftige Studien sollten das 3D-System anhand eines größeren Datensatzes evaluieren und das Spektrum der klassifizierbaren Bewegungsmuster erweitern. Das 3D-System könnte durch seine einfache Handhabung eine interessante Methode für die Heimanwendung sein.

Sleep related movement disorders such as periodic leg movement disorder or rhythmic movement (RM) disorder are characterized by relatively simple, stereotyped movements. Possible consequences comprise daytime fatigue, increased blood pressure and stress. For correct treatment it is crucial to accurately estimate disorder severity. Methods for severity assessment exist but show limitations. Polysomnography (PSG), for example, is the most commonly used method to score periodic leg movements but relies on electromyography and its quality of electrode contact. More important, electromyography only allows for movements to be detected when the muscle attached with electrodes is activated. Manually annotating 2D infrared videos is a method widely used in the clinics to estimate rhythmic movement severity. 2D infrared videos also commonly support the assessment of periodic leg movements in conjunction with PSG. The 3D system presented in this work is an alternative to standardly used methods for the estimation of sleep related movement disorder severity. It aims at overcoming limitations of currently used methods to allow for a better estimation of the disorder severity.A 3D time-of-flight camera was therefore mounted on the ceiling above a patient lying in bed and recorded the scene in three dimensions. The time-of-flight principle determines distances by measuring the time it takes emitted infrared light to return to the sensor after being reflected by the nearest surface. An algorithm quantified movements based on the temporal depth change in the 3D video. Movement detection was first validated in an experimental setup with the patient replaced by a computer controlled lifting table. Movements with amplitudes as low as 3 mm were reliably detected in the experimental setup. An evaluation on clinical data showed that 93.9% of all PSG detected leg movements were also detected by the 3D system. The 3D system detected 25.1 % more leg movements than PSG. Next, the 3D system was further developed to detect specific movement patterns relevant to sleep related movement disorders. RM were scored by classifying segments of 3 s duration based on manually crafted, frequency-based features and machine learning. Based on manual annotations, RM were classified with an accuracy of 99.0 %, an F1-score of 91.8% and a Cohen’s Kappa of 91.3% by the 3D system. The newly proposed RM indices demonstrated how analysis can be improved and set out the basis for a standardized quantification of RM. Scoring periodic leg movements (PLMS) used the latest guidelines provided by the sleep society. Evaluations on clinical data showed high overlaps between the 3D system and PSG: 83.8% of all PSG detected PLMS were also detected by the 3D system. The 3D system scored 21.0% more PLMS than PSG did. Additional movements were shown to be clinically at least as relevant as those detected by PSG with respect to sleep fragmentation. Combining the 3D system and PSG for the detection of PLMS resulted in an overlap of 92.07%.Detection differences between the 3D system and PSG most likely resulted from the 3D system allowing for the detection of the full-body spectrum of movements. The 3D systems monitored all muscles rather than only monitoring those muscles having electrodes attached. Another advantage of the 3D system is the contactless and automated mode of operation, which promotes natural sleep behavior and enables easy setup. In conclusion, the findings of this study suggest that 3D monitoring can detect and characterize different movement patterns during sleep to improve sleep related movement disorder severity estimation. Future studies should evaluate the 3D system on a larger dataset and consider widening the spectrum of assessable movements. Due to the simple usage, the 3D system might be an interesting method for home applications.