Visualization-guided classification of carbonized seeds from early human civilizations

Abstract

Since the Neolithic Revolution approximately $10.000$ years ago, crop plants are an important part of our food. Researchers of archeobotany try to find and determine the species that humankind used already in the past. Most of the gathered samples are preserved due to carbonization, but the shape and inner structures are deformed because of this process. The amount of distortion is given by the temperature and the time they are heated. Normally, an expert is consulted to classify them. Since there are only a few experts in this field, an automatic approach is requested. The result of this work is a software, which can load the \acrfull{ct} scans, segment and separate the seeds within the samples, calculate different shape features as descriptors, and train a classifier. To have an overview of how the seeds look like, different volume visualizations are available to show selected samples or median seeds of each class. To validate the probabilities of the learner, additional visualizations are available, which show the influence of the extracted features on the classification. A cross validation method with 1043 known samples results in a classification accuracy of 85%. The incorrectly classified samples of the ground truth are visualized to display the expert user where they are located regard to the extracted features and which results are especially inaccurate. The project is used in an international project with positive feedback.

Seit der Neolithischen Revolution, vor ca. 10.000 Jahren, sind Nutzpflanzen ein wichtiger Bestandteil unserer Ernährung. Wissenschaftler*innen der Archeobotanik versuchen Pflanzensamen zu finden und zu bestimmen, die bereits von der Menschheit in der Vergangenheit genutzt wurden. Viele der gesammelten Proben sind durch einen Verkohlungsprozess erhalten geblieben, wodurch aber ihre Form und innere Struktur verändert wurden. Der Grad der Veränderung ist bestimmt durch die Temperatur und die Heizdauer. Im normalen Ablauf wird ein*e Experte*in hinzugezogen welche*r die Pflanzensamen bestimmen kann. Da es relativ wenige von diesen Experten gibt, liegt der Wunsch nach einer Automatisierung nahe. Das Ergebnis dieser Arbeit ist eine Software, die die Computed-Tomography-Scans (CTs) von Pflanzensamen laden, die Pflanzensamen in den Dateien automatisch segmentieren und separieren, verschiedene Merkmale als Deskriptoren daraus extrahieren und damit einen Klassifikator trainieren kann. Um die vom Klassifikator erhaltenen Wahrscheinlichkeiten überprüfen zu können, sind Visualisierungen verfügbar, die es ermöglichen den Einfluss der extrahierten Merkmale auf die Klassifizierung nachzuvollziehen. Damit die Pflanzensamen auch direkt betrachtet werden können und um einen guten Überblick zu erhalten wie Medianobjekte von jeder Klasse aussehen, können diese mit Hilfe von verschiedenen Volumen-Visualisierungstechniken angezeigt werden. Die Ergebnisse eines Kreuzvalidierungsverfahrens mit 1043 bekannten Elementen zeigen, dass der Klassifikator eine Genauigkeit von 85 Prozent erreicht. Die während des Lernprozesses falsch klassifizierten Datenpunkte werden zusätzlich dargestellt, um es den Experten zu ermöglichen, zu erkennen, welche Klassen besonders inakkurat sind und wo sich diese Datenpunkte bezüglich der Features befinden. Das Projekt der Arbeit findet Anwendung in einen internationalen Projekt und wurde sehr positiv aufgenommen.