Diffusion Transformers for MRD assessment in pediatric AML using Flow Cytometry

Abstract

Pädiatrische akute myeloische Leukämie (AML) ist eine seltene und heterogene Erkrankung mit hoher Mortalität. Diese Arbeit präsentiert dit-flow, ein neuartiges Deep Learning-Modell das multiparametrische Durchflusszytometriedaten aus Knochenmarksproben verarbeitet. Eingaben mit variierender Dimensionalität werden durch den Aufmerksamkeitsmechanismus (Attention) zwischen den kodierten Merkmalen und deren zugehörigen Daten in einen latenten Raum fester Dimension eingebettet und anschließend einem Diffusion Transformer zugeführt, welcher auf einem kombinierten Ziel aus Latent-Rekonstruktion und Quantifizierung von Krebszellen, der minimalen Resterkrankung (MRD), trainiert wurde.Dabei erreicht dit-flow F1-Maße am Testdatenset, die dem aktuellen Stand der Forschung entsprechen. Das Konditionieren auf AML Subtypen nach FAB (French-American-British) oder WHO (World Health Organization) verbessert die MRD-Erkennung nicht. Zwei Varianten der Konditionierung wurden untersucht: adaptive Layer-Normalisierung und Cross-Attention. Cross-Attention führt zu besseren Ergebnissen bei der MRD-Erkennung und weniger Varianz der Ergebnisse zwischen den Trainingsläufen.Die Subtypklassifikation auf Basis der variationalen unteren Schranke (ELBO) der Diffusion liefert schlechte Ergebnisse was darauf schließen lässt, dass kein Muster zwischen den Zytometriedaten der Zellen und deren konditionierten Subtypen erfasst wurde.Die Implementierung von dit-flow ist unter https://github.com/pBuch/dit-flow verfügbar.

Pediatric acute myeloid leukemia (AML) is a rare and heterogeneous disease with high mortality. This thesis presents dit-flow, a novel new deep learning model that processes multi-parameter flow cytometry (MFC) data from bone marrow samples. Inputs of varying dimensionality is embedded into a fixed-dimension latent space through an attention mechanism between the encoded feature and the corresponding measurements. The latent is fed into a diffusion transformer which is trained on a combined objective of sample latent reconstruction and the detection of cancerous cells, the measurable/minimalresidual disease (MRD).Dit-flow achieves state-of-the-art performance by F1 score on the test set. Conditioning on the AML subtypes of the French-American-British (FAB) and/or World Health Organization (WHO) classification does not improve MRD prediction performance. Two variants of conditioning were evaluated: adaptive layer normalization (AdaLN) and cross-attention. Cross-attention leads to better \gls{mrd} prediction results and has less performance variance between training runs.Employing the diffusion evidence lower bound (ELBO) to classify samples for FAB or WHO subtypes has poor performance which suggests that there is no captured pattern between the cytometry features of the cells and the subtype conditioning.The implementation of dit-flow is available at https://github.com/pBuch/dit-flow.