Predicting and communicating outcome of COVID-19 hospitalizations with medical images and clinical data

Abstract

In dieser Arbeit entwickeln wir ein visuelles Analysesystem, das die Vorhersage, Analyse und Kommunikation der Ergebnisse von COVID-19-Krankenhausaufenthalten unterstützt. Obwohl mehrere reale Datensätze über COVID-19 öffentlich verfügbar sind, konzentriert sich der Großteil der aktuellen Forschung auf die Erkennung der Krankheit in Röntgenbildern der Brust. Bislang gibt es keine Arbeit, die Erkenntnisse aus medizinischen Bilddaten mit denen aus klinischen Daten kombiniert und die Wahrscheinlichkeit eines Aufenthalts auf der Intensivstation, einer Beatmung oder eines Todesfalls vorhersagt. Darüber hinaus hat sich die bisherige Forschung noch nicht auf die Vermittlung der Ergebnisse an die breite Öffentlichkeit konzentriert. Um die Vorhersage, Analyse und Kommunikation der Ergebnisse von COVID-19-Krankenhausaufenthalten auf der rundlage eines öffentlich zugänglichen Datensatzes zu unterstützen, der sowohl elektronische Gesundheitsdaten als auch medizinische Bilddaten umfasst, führen wir die folgenden drei Schritte durch: (1) automatisierte Segmentierung der verfügbaren Röntgenbilder und Verarbeitung der klinischen Daten, (2) Entwicklung eines Modells für die Vorhersage von Krankheitsverläufen und Vergleich mit modernsten Vorhersagewerten für beide Datenquellen, medizinische Bilder und klinische Daten, und (3) die Kommunikation er Ergebnisse für drei verschiedene Nutzergruppen (medizinische und klinische Experten, Experten für Datenanalyse und die allgemeine Bevölkerung) über ein interaktives Dashboard. Das Dashboard ist so konzipiert, dass die Benutzer benutzerspezifische Aufgaben lösen können, die ebenfalls in dieser Arbeit definiert wurden. Vorläufige Ergebnisse deuten darauf hin, dass die Vorhersageergebnisse durch die Kombination von medizinischen Bilddaten mit klinischen Daten verbessert werden, während sich die Analyse und Kommunikation von Krankenhausaufenthaltsergebnissen als ein breites und bedeutendes Thema im Rahmen der COVID-19-Prävention erweist.

We propose a visual analytics framework to support the prediction, analysis, and communication of COVID-19 hospitalization outcomes. Although several real-world data sets about COVID-19 are openly available, most of the current research focuses on the detection of the disease through chest X-ray images. Until now, no previous work exists on combining insights from medical image data with knowledge extracted from clinical data, predicting the likelihood of an intensive care unit (ICU) visit, ventilation, or decease. Moreover, available literature has not yet focused on communicating such results to the broader society. To support the prediction, analysis, and communication of the outcomes of COVID-19 hospitalizations on the basis of a publicly available data set comprising both electronic health data and medical image data Saltz et al. [2021], we conduct the following three steps: (1) automated segmentation of the available X-ray images and processing of clinical data, (2) development of a model for the prediction of disease outcomes and a comparison to state-of-the-art prediction scores for both data sources, i.e., medical images and clinical data, and (3) the communication of outcomes to three different user groups (namely, medical and clinical experts, experts in data analytics, and the general population) through an interactive dashboard. The dashboard is designed to enable users to solve user-specific tasks, also defined in this work. Preliminary results indicate that the prediction results are improved by combining medical image data with clinical data, while analysis and communication of hospitalization outcomes prove to be a wide and significant topic in the context of COVID-19 prevention.