Lung and lung cancer segmentation using deep learning

Abstract

Lungenkrebs ist weltweit die häufigste und tödlichste Krebserkrankung sowohl bei Männern als auch bei Frauen und stellt die Diagnose und Behandlung vor große Herausforderungen. Die Ätiologie des Lungenkrebses, der überwiegend mit dem Rauchen in Verbindung gebracht wird, ist ein komplexer Prozess, der durch verschiedene Umweltfaktoren wie die Belastung durch Luftverschmutzung beeinflusst werden kann. Er wird grob in kleinzellige Lungenkarzinome (SCLC) und nicht-kleinzellige Lungenkarzinome (NSCLC) eingeteilt, die sich unterschiedlich ausbreiten und wachsen. Das Hauptproblem bei Lungenkrebs ist die späte Diagnose, da die Symptome in der Regel verzögert auftreten. Dieses fortgeschrittene Krankheitsstadium ist mit den derzeit verfügbaren Therapien nahezu unheilbar. Diese Therapien beruhen in erster Linie auf der manuellen Erkennung und Segmentierung von CT-Bildern durch Radiologen. Dieser manuelle Prozess hat jedoch mehrere Nachteile, darunter der hohe Zeitaufwand und die Schwierigkeit, die Tumorgröße präzise und zuverlässig zu quantifizieren. Diese Arbeit untersucht das Potenzial von Deep Learning, insbesondere von Convolutional Neural Networks (CNNs) und Vision Transformers (ViTs), bei der Segmentierung von Lungenkrebs. In diesem Zusammenhang befassen wir uns auch mit der damit verbundenen Aufgabe der Lungensegmentierung. Wir schlagen die Verwendung von CNN-basierten Modellen und dem ViT-basierten Segment Anything Model (SAM) vor, das kürzlich von Meta AI mit verschiedenen Konfigurationen (z.B. Netzwerk-Encoder) veröffentlicht wurde. Das Hauptziel ist es, diese Modelle durch verschiedene Konfigurationen zu optimieren und ihre Leistung bei verschiedenen Segmentierungsaufgaben zu vergleichen. Die wichtigsten Ergebnisse zeigen signifikante Unterschiede zwischen CNN-basierten und ViT-basierten Modellen in verschiedenen Modellkonfigurationen und Datensätzen. Da SAM menschliche Interaktion (sogenannte "Prompts") verwendet, haben wir die Auswirkungen von SAM mit und ohne simulierte menschliche Interaktion untersucht. Darüber hinaus haben wir die Leistung der CNN-basierten und ViT-basierten Modelle für drei verschiedene Tumorgrößen untersucht, darunter eine kleine, mittlere und große Größe. Im Allgemeinen zeigen unsere Ergebnisse vielversprechende Leistungsfähigkeiten von CNN-basierten und ViT-basierten Modellen sowohl für Lungen- als auch für Lungenkrebs-Segmentierungsaufgaben. CNN-basierte Modelle erreichen den höchsten Dice-Score von 0,975 mit U-Net mit efficientnet-b7 bei der Lungensegmentierung, verglichen mit nur 0,440 mit U-Net mit resnet101 bei der Segmentierung von Lungenkrebs. Bei der Lungenkrebs-Segmentierungsaufgabe verbessert sich der Dice-Score jedoch drastisch auf einen Wert von 0,749 bei Verwendung von SAM mit simulierter menschlicher Interaktion. Diese Ergebnisse könnten bei der künftigen Entwicklung von Software für die Behandlung von Lungenkrebs im Frühstadium helfen, die auf präzisen Segmentierungsmodellen basiert, da Radiologen diese Modelle zur präzisen und effektiven Quantifizierung des Tumors verwenden könnten.

Lung cancer, as the most prevalent and deadliest cancer globally among both men and women, presents significant diagnostic and treatment challenges. The etiology of lung cancer, predominately linked to smoking, is a complex process that may be influenced by various environmental factors such as air pollution exposure. It is broadly classified into small-cell lung carcinomas (SCLC) and non-small-cell lung carcinomas (NSCLC) that spread and grow differently. Lung cancer's major issue is late diagnosis since the symptoms are usually delayed. This advanced stage of the disease is almost incurable with currently available therapies. These therapies primarily rely on manual CT image detection and segmentation by radiologists. However, this process suffers from several limitations including its time-consuming nature and the difficulty to precisely and reliably quantify tumor size. This thesis aims to explore the potential of deep learning, particularly Convolutional Neural Networks (CNNs) and Vision Transformers (ViTs) in lung cancer segmentation. In this context, we also tackle the associated task of lung segmentation. We propose the use of CNN-based models and ViT-based Segment Anything Model that was recently published by Meta AI with various configurations (e.g. network encoders). The primary objective is to optimize these models through various configurations and benchmark their performance across different segmentation tasks. Key findings show significant differences between CNN-based and ViT-based models across different model configurations and datasets. Since SAM uses prompts, we explored the impact of SAM with and without simulated human interaction. In addition, we assessed the CNN-based and ViT-based model's performance for three different tumor scales including small, medium, and large scale. Generally, our results demonstrate promising capabilities of CNN-based and ViT-based models for both lung and lung cancer segmentation tasks. CNN-based models achieve the highest dice score of 0.975 using U-Net with efficientnet-b7 on the lung segmentation task compared to only 0.440 using U-Net with resnet101 on the lung cancer segmentation task. However, the dice score drastically improves to a dice score of 0.749 using SAM with simulated human interaction for the lung cancer segmentation task. These findings may help in the future development of early-stage lung cancer treatment software that is based on precise segmentation models since radiologists could use these models to quantify the tumor in a precise and effective manner.