Automatic quantification of the severity of posterior capsule opacification using deep learning

Abstract

Grauer Star ist eine der häufigsten Erblindungsursachen der Welt und wird in den meisten Fällen durch die chirurgische Entfernung der Augenlinse und deren Ersatz durch eine künstliche Intraokularlinse (IOL) behandelt. Nach dem chirurgischen Eingriff können einige Linsenepithel-Zellen zurückbleiben, die sich re-kolonialisieren und in die hintere Kapsel einwandern können, was schließlich zu derer Eintrübung führt (PCO).Bislang gibt es keine vollautomatische Methode, die den Schweregrad von PCO auf der Grundlage von Retroilluminationsbildern des Auges bewertet. Eine weit verbreitete Methode, AQUA, ist eine auf Bildtexturen basierender Ansatz, die jedoch nur für Bewertung von Bildgruppen und nicht zur Klassifizierung einzelner Bilder angewendet wird. Hierfür müssen jedoch viele manuelle Vorverarbeitungsschritte durchgeführt werden, z.B. die Extraktion der Linsenregion vom Bild. Dadurch ist das Erzielen zuverlässiger Ergebnisse mit AQUA langwierig und anfällig für menschliche Fehler. Diese Arbeit zielt darauf ab, den Bedarf einer automatischen, standardisierten Grading-Methode durch den Einsatz von Convolutional Neural Networks (CNNs) zu decken. Ziel ist es, Erkenntnisse über die Art der Architekturen zu gewinnen, die am besten geeignet sind, eine automatische Einstufung des Schweregrads von PCO zu ermöglichen, und die DL-Ansätze mit texturbasierter Klassifizierung auf der Grundlage von AQUA zu vergleichen.Diese Arbeit wird in Zusammenarbeit mit der Medizinischen Universität Wien verfasst, die insgesamt 197 Bilder sowie Referenzbewertungen für diese Bilder zur Verfügung stellte. Die Rohbewertungen umfassten 6 Klassen, wobei höhere Bewertungen aufgrund der geringen Anzahl verfügbarer Bilder zusammengefasst wurden, was zu 3 Klassen, die von keiner bis zu schwerer PCO reichen, führte. 5 Experimente wurden durchgeführt, um das Verhalten von DL-Modellen zur Schweregradeinstufung von PCO zu untersuchen.Ergebnisse zeigen, dass DL-Modelle Schwierigkeiten haben, Bilder der Klasse 1 korrekt zu identifizieren. Diese Annahme wird durch die Ergebnisse der nachfolgenden Experimente gestützt, bei denen mit den Ausschnitten, die auch als Grundlage für AQUA dienen, und dem Weglassen der Klasse 1 experimentiert wurde. Das Modell zur Schweregradeinstufung, das mit den Ausschnitten trainiert wurde, erreichte eine Genauigkeit von 67% und übertraf damit den AQUA-Ansatz (62%). Weiters erreichte ein Klassifizierer, der Bilder der Klasse 1 nicht berücksichtigte und mit den Gesamtbildern trainiert wurde, eine Genauigkeit von 90% und übertraf damit ebenfalls sein AQUA-Pendant, das auf Auschnitten eine Genauigkeit von 86% erzielte.

Cataract is one of the leading causes of blindness in the world and is most commonly treated by surgically removing the lens of the eye and replacing it with an artificial, intraocular lens (IOL). After the surgery has been performed, some lens epithelial cells can still remain and may begin to re-colonise and migrate towards posterior capsule, ultimately leading to its opacification (PCO).So far, there is no fully automatic method available which grades the severity of PCO based on retroillumination images of the eye. A widely used method, AQUA, is an image texture based approach used only for assessing groups of images, but not for classifying individual images. However, many manual pre-processing steps, such as extracting the lens region from the image have to be performed. Therefore, the process of obtaining reliable results with AQUA is lengthy and prone to human error. This thesis aims to fill the need of an automatic, standardized grading method by leveraging Convolutional Neural Networks (CNNs). The goal is to gain insights on the type of architectures, that are best equipped to enable automatic grading of the severity of PCO and also to compare the DL approaches to texture-based classification based on AQUA.This thesis is being written in cooperation with the Medical University of Vienna, which provided a total of 197 images as well as reference gradings for these images. The raw gradings included 6 classes where higher classes have been merged together, due to the low number of available images, resulting in 3 ranging from no to severe PCO. 5 experiments designed to investigate the behaviour of severity grading DL models were carried out.Results show that DL models struggle to correctly identify images of class 1. This notion is supported by the results of subsequent experiments where cutouts, which also serve as an input for AQUA, and the omission of class 1 were utilized. The severity grading model trained using the cutouts yielded an accuracy of 67%, outperforming the AQUA approach (62%). Furthermore, a classifier that omitted images of class 1 and was trained on full images reached an accuracy of 90%, also outperforming its AQUA counterpart on cutouts, which yielded an accuracy of 86%.