Anomaly detection and prediction in longitudinal imaging data

Abstract

Generative Adversarial Network (GANs) fanden schon in verschiedenen Bereichen Anwendung wie Feature Extraktion, Bildbearbeitung und das Detektieren von krankhaften Gewebe der Retina. In dieser Arbeit wird ein GAN verwendet, um einen Anomalie-Score zu erstellen und damit Läsionen in Hochrisikopatientinnen für Brustkrebs zu erkennen. Der Anomalie-Score quantifiziert dabei die Abweichung von der Verteilung gesunden Gewebes, wobei Bilder, die in einem Zeitraum von 2 bis 13 Jahren durch Perfusions-Magnetresonanztomographie erstellt wurden, für das Training des GAN herangezogen werden.\\ Die Methodik besteht im Wesentlichen aus 3 Stufen, nämlich der Intra-Subjekt Registrierung, der Segmentierung des Brustgewebes und schließlich aus der eigentlichen Anomaliedetektion. Die Registrierung ist notwendig um innerhalb einer Patientin örtliche Korrespondenz der Bilder zu erhalten und die Segmentierung wird benötigt um die Positionen der Voxel, die Brustgewebe entsprechen, in Erfahrung zu bringen. Der Anomalie-Score wird dann basierend auf Differenzenbildern zwischen zwei Aufnahmezeitpunkten einer Patientin und dessen Vergleich mit dem GAN-Model von gesundem Gewebe berechnet.\\ Die Evaluierung der in dieser Arbeit vorgestellten Herangehensweise an Bildausschnitten von 5 gesunden und 8 kranken Patientinnen zeigt eine Sensitivität von 99.5\% und eine Spezifität von 84\%. Das Vorhandensein von Läsionen wurde zuvor von Radiologen und Radiologinnen diagnostiziert. Außerdem zeigen die Resultate auch, dass es mit Hilfe des Anomalie-Scores möglich ist, Läsionen einen Aufnahmezeitpunkt früher zu erkennen als der Radiologe oder die Radiologin. In diesem Fall liegt die Sensitivität bei 92.7\% und die Spezifität bei 78.6\%.

Generative Adversarial Networks (GANs) have been applied in different fields including feature extraction, image inpainting and the detection of abnormal tissue of the retina. In this thesis a GAN is used to create an anomaly score to detect lesions in high risk breast cancer patients, whereas the score represents the divergence from healthy tissue. Dynamic Contrast-Enhanced Magnetic Resonance (DCE-MR) images for each patient, acquired in a time period ranging from 2-13 years serve as information source for GAN training.\\ The methodology consists of 3 main steps, namely intra-patient image registration, whole breast segmentation and the anomaly detection itself. Images belonging to the same subject are brought into the same coordinate frame to reach spatial correspondence across time. Breast segmentation is necessary to obtain the positions of breast tissue voxels. The anomaly score is then calculated based on difference images between the acquired time points of a patient, by a comparison with the GAN model of normal breast tissue.\\ Evaluation of the detection performance on image patches from 5 healthy and 8 diseased patients demonstrates a sensitivity of 99.5\% and a specificity of 84\%. The presence of lesions has been confirmed by a radiologist. Furthermore, results show that the score allows the identification of lesions acquired one time point earlier than they have been identified by a radiologist. The sensitivity in this case is 92.7\% and the specificity is 78.6\%