Modelling Inter-Individual Differences in Multimodal Data: A Metric Learning Approach for Personalized Well-being Estimation in Healthcare Workers

Abstract

In stark belasteten Arbeitsumgebungen wie Krankenhäusern und Pflegeeinrichtungen ist das Wohlbefinden von Pflegekräften durch die physischen, emotionalen und zeitlichen Anforderungen ihrer Arbeit ständig beeinträchtigt. Diese Belastungen führen schleichend zu einer Beeinträchtigung des Wohlbefindens, wobei frühe Symptome oft subtil sind und häufig erst lange nach ihrem Auftreten bemerkt werden, was ein proaktives Eingreifen erschwert.Diese Arbeit basiert auf einer Praxisstudie der TU Wien in Zusammenarbeit mit einem Krankenhaus in Hietzing, Wien, an der Pflegekräfte über mehrere Monate teilnahmen.Ziel der Studie war die Modellierung und Vorhersage des täglichen Wohlbefindens mit-hilfe multimodaler Daten, bestehend aus Daten mobiler Sensoren, halbstrukturierten Interviews, psychologischen Merkmalen aus Fragebögen und Schlafverhalten.Im ersten Teil wird untersucht, ob große Sprachmodelle die qualitative Kodierung halbstrukturierter Interviews auf dem gleichen Niveau wie ein Mensch durchführen können.Die generierten Codes zeigen eine hohe thematische Übereinstimmung mit den Annotationen von Experten, was darauf hindeutet, dass die LLM-gestützte Kodierung eine zuverlässige und skalierbare Alternative darstellen kann.Im zweiten Teil wird ein Modell entwickelt, das anhand der ambulanten physiologischen Signale der Teilnehmenden deren tägliches Wohlbefinden (gemessen mit den NASA-TLX-Selbstbeurteilungsbögen) vorhersagt. Die Einbeziehung von Merkmalen aus Interviews verbessert die Vorhersagegenauigkeit zusätzlich.Abschließend werden die Teilnehmenden anhand ihrer Persönlichkeitsmerkmale und Schlafmuster gruppiert, um zu untersuchen, ob sich die Vorhersagekraft der Modelle dadurch weiter steigern lässt. Obwohl dieser Ansatz theoretisch vielversprechend ist,schränkte die geringe Anzahl an Teilnehmenden pro Gruppe die Modellleistung ein,sodass die Ergebnisse nicht eindeutig sind.Trotz dieser Herausforderungen zeigen die Ergebnisse, dass eine aussagekräftige Modellierung des Wohlbefindens auch unter realen Feldbedingungen mit verrauschten Daten und begrenzten Ressourcen möglich ist. Diese Arbeit liefert einen Machbarkeitsnachweis für ein skalierbares, datengestütztes Wohlbefindensmonitoring im klinischen Alltag –nicht nur unter kontrollierten Forschungsbedingungen, sondern auch dort, wo es am dringendsten benötigt wird.

In high-stress working environments such as hospitals and long-term care facilities, the well-being of healthcare workers is constantly challenged by the physical, emotional, and temporal demands of their work. These burdens gradually erode their well-being, and yet early symptoms are subtle and often self-reported long after they occur, making proactive intervention difficult.This thesis is based on a real-world study conducted by TU Wien in collaboration with a hospital in the Second Department of Psychiatry and Psychotherapy, Hietzing Clinic, Vienna, where healthcare workers participated in a multi-month field study. The study aimed to model and predict daily well-being using multimodal data which consists of ambulatory sensor data, semi-structured interviews, psychological traits derived from questionnaires, and sleep behavior.The first part evaluates whether large language models can perform qualitative coding of semi-structured interviews on the same level as a human would. The generated codes show high thematic alignment with expert human annotations, suggesting that LLM-assisted coding can serve as a reliable and scalable alternative.The second part develops a model to predict participants’ daily well-being scores measured by the NASA-TLX self assessments forms from their ambulatory physiological signals. Incorporating features derived from interviews further improves predictive performance.Finally, participants are clustered based on their personality traits and sleep patterns to investigate would it even further improve predictive ability of the models. While thisapproach is theoretically promising, the small number of participants per cluster limited model performance, rendering results inconclusive.In spite of these challenges, the findings demonstrate that meaningful well-being modeling is feasible in real-world field conditions where data are noisy and resources limited.This work provides a proof of concept for scalable data-driven well-being monitoring in everyday clinical practice, not only under controlled research conditions but in the settings where it is needed most.