RGB image-based detection of liquid fill levels in known transparent containers

Abstract

Automatic handling of transparent liquid containers is required in many current and future applications in laboratories, industries, and in homes, necessitating the estimation of theobjects’ fill levels. Examples include robotic systems used in beverage production and assistive care robots in domestic settings. While several methods have been developed for liquid detection, only a few solely rely on RGB images. The advantage of using RGB images lies in their widespread availability, low-effort and low-delay acquisition,making these methods more accessible. This thesis presents a novel approach for detecting two-dimensional and three-dimensional liquid fill levels in known transparent containers.Unlike earlier methods, it does not require any restrictions on the environment or the containers themselves. This approach integrates the Neural Networks Region of Interest Neural Network (ROI-NN) and Segment Anything Model (SAM) for liquid segmentation,along with additional gradient descent optimizations to refine the output and achieve three-dimensional results. An evaluation of the proposed method concludes that it yields more accurate results than current state-of-the-art techniques for liquid level detection.On the tested dataset with cluttered and realistic scenarios, it achieves over 98% accuracy.This demonstrates its potential for real-world applications that require high-quality results,such as robotic manipulation in the beverage industry or automated liquid handling in laboratory settings.

Die automatische Handhabung von durchsichtigen Flüssigkeitsbehältern ist in vielen aktuellen und zukünftigen Anwendungen in Labors, der Industrie und in Haushalten erforderlich und erfordert die Schätzung des Füllstands der Objekte. Beispiele hierfür sind Robotersysteme in der Getränkeherstellung und unterstützende Pflegeroboter im häuslichen Bereich. Es wurden zwar mehrere Methoden zur Erkennung von Flüssigkeiten entwickelt, aber nur wenige stützen sich ausschließlich auf RGB-Bilder. Der Vorteil der Verwendung von RGB-Bildern liegt darin, dass sie weithin verfügbar sind und mit geringem Aufwand und geringer Verzögerung aufgenommen werden können, was diese Methoden leichter zugänglich macht. In dieser Arbeit wird ein neuartiger Ansatz zur Erkennung von zwei- und dreidimensionalen Flüssigkeitsfüllständen in bekannten transparenten Behältern vorgestellt. Im Gegensatz zu früheren Methoden erfordert er keine Einschränkungen hinsichtlich der Umgebung oder der Behälter selbst. Dieser Ansatz integriert die Neuronalen Netze Region of Interest Neural Network (ROI-NN) und Segment Anything Model (SAM) für die Segmentierung von Flüssigkeiten, zusammen mit zusätzlichen Optimierungen durch Gradientenverfahren, um die Ausgabe zu verfeinern und dreidimensionale Ergebnisse zu erzielen. Eine Evaluierung der vorgeschlagenen Methode kommt zu dem Schluss, dass sie genauere Ergebnisse liefert als die derzeit modernsten Techniken zur Erkennung von Flüssigkeitsständen. In dem getesteten Datensatz mit unübersichtlichen und realistischen Szenarien erreicht sie eine Genauigkeit von über 98%. Dies zeigt ihr Potenzial für reale Anwendungen, die qualitativ hochwertige Ergebnisse erfordern, wie z. B. die Robotermanipulation in der Getränkeindustrie oder die automatische Handhabung von Flüssigkeiten in Laborumgebungen.