Evaluation of Mixed Reality Use Cases in Healthcare

Abstract

Augmented Reality (AR) and Mixed Reality (MR) represent a fast-developing field of research. However, AR/MR solutions which support healthcare work in complex, time-critical and often unpredictable medical environments are not sufficiently explored. Healthcare professionals have to perform a variety of work processes while having an increased need for mobility, information and collaboration. This master’s thesis investigates potential use cases for AR/MR, i.e., smart glasses, to support daily workflows of healthcare professionals in such medical environments. Additionally, the needs and challenges that healthcare professionals face in daily work processes and also with regard to the potential use of smart glasses have been examined. Emergency medical services (EMS), anesthesiology and the intensive care unit (ICU) represent such complex and time-critical medical environments that have been investigated through interviews, focus groups and observations as well as a comprehensive literature review. Many potential application areas to support communication and the mobile information exchange have been identified that could benefit from this sophisticated wearable technology. Since a Mixed Reality head-mounted display (HMD) was used during the research work, several particular MR application possibilities have been described. Major challenges during the daily workflows are, among others, deficiencies in the exchange of information and the many different information sources. This effort has been attributed to the use of diverse information systems and paper-based workflows which, according to participants, often result in a time-consuming information search. The main challenge with regard to the use of smart glasses is the great need for patient-centered care. In this case, the HMD, which was tested by the healthcare professionals, was perceived as a barrier to the patient. The AR/MR technology is predicted to have a promising future. Smart glasses have great potential to support the daily, highly mobile workflows of healthcare professionals and to provide ubiquitous access to needed information. However, further research and development in the field of smart glasses, health information systems and corresponding applications that fit the needs of healthcare staff are indispensable in order to facilitate the adoption of this new healthcare technology. Correspondingly, end-user involvement in the development process could be beneficial for the success of the AR/MR technology and related applications.

Augmented Reality (AR) und Mixed Reality (MR) stellen ein sich rasant entwickelndes Forschungsgebiet dar. Allerdings sind AR/MR Anwendungen zur Unterstützung der Arbeit in komplexen, zeitkritischen und oft unvorhersehbaren medizinischen Umgebungen nicht ausreichend erforscht. Medizinisches Fachpersonal muss eine Vielzahl von Arbeitsprozessen durchführen und hat zugleich einen erhöhten Bedarf an Mobilität, Information und Zusammenarbeit. Die vorliegende Diplomarbeit untersucht potenzielle Anwendungsfälle von AR/MR, genauer gesagt Smart Glasses, zur Unterstützung der täglichen Arbeitsabläufe des medizinischen Personals in solchen Arbeitsbereichen des Gesundheitswesens. Des Weiteren wurden die Bedürfnisse und Herausforderungen untersucht, denen das medizinische Personal in täglichen Arbeitsabläufen begegnet, sowie auch im Hinblick auf den potenziellen Einsatz von Smart Glasses. Rettungsdienste, die Anästhesiologie und die Intensivstation stellen solche komplexen und zeitkritischen medizinischen Umgebungen dar, welche anhand von Interviews, Fokusgruppen und Beobachtungen, sowie einer umfassenden Literaturrecherche untersucht wurden. Viele potenzielle Bereiche von Anwendungsfällen zur Unterstützung der Kommunikation und des mobilen Informationsaustausches wurden identifiziert, die von dieser fortgeschrittenen tragbaren Technologie profitieren können. Außerdem wurden einige spezielle Mixed Reality Anwendungsmöglichkeiten beschrieben, da ein MR Head-Mounted Display (HMD) während der Forschungsarbeit verwendet wurde. Wesentliche Herausforderungen während der täglichen Arbeitsabläufe stellen unter anderem der unzureichende Informationsaustausch und die vielen unterschiedlichen Informationsquellen dar. Dieser Aufwand wird auf den Einsatz von verschiedenen Informationssystemen und papierbasierten Arbeitsabläufen zurückgeführt, welche laut den Teilnehmern oft eine zeitaufwendige Informationssuche zur Folge haben. Die größte Herausforderung hinsichtlich des Einsatzes von Smart Glasses ist der große Bedarf an einer patientenzentrierten Versorgung. Hier wurde das von dem medizinischen Personal getestete HMD als eine Barriere zum Patienten empfunden. Der AR/MR Technologie wird eine vielversprechende Zukunft vorausgesagt. Smart Glasses haben ein hohes Potenzial die täglichen, höchst mobilen Arbeitsvorgänge des medizinischen Personals zu unterstützen und einen allgegenwärtigen Zugang zu benötigter Information bereitzustellen. Jedoch ist weitere Forschung und Entwicklung im Bereich der Smart Glasses, der Informationssysteme im Gesundheitswesen und der zugehörigen Anwendungen, die an die Bedürfnisse des medizinischen Fachpersonals angepasst sind, unabdingbar, um eine Adoption der neuen Technologie in diesen Gesundheitsbereichen zu fördern. Dementsprechend könnte der Einbezug der Endanwender in den Entwicklungsprozess für den Erfolg der AR/MR Technologie und entsprechender Anwendungen förderlich sein.