Image Segmentation; Irregular Image Pyramid; User Interaction
en
Abstract:
Unter Bildsegmentierung versteht man im Allgemeinen den Prozess des Aufteilens eines digitalen Bildes in Segmente, wobei diese eine starke Korrelation mit den im Bild enthaltenen Objekten aufweisen sollen. Jedoch lässt sich ein perfektes Endergebnis nicht mit Ansätzen, die für eine breites Anwendungsgebiet gedacht sind und nur mit einfachen Bildinformationen (z.B. Farbe) arbeiten, erzielen. Ein We...
Unter Bildsegmentierung versteht man im Allgemeinen den Prozess des Aufteilens eines digitalen Bildes in Segmente, wobei diese eine starke Korrelation mit den im Bild enthaltenen Objekten aufweisen sollen. Jedoch lässt sich ein perfektes Endergebnis nicht mit Ansätzen, die für eine breites Anwendungsgebiet gedacht sind und nur mit einfachen Bildinformationen (z.B. Farbe) arbeiten, erzielen. Ein Weg, um dieses Problem zu lösen, besteht darin, nicht ein perfektes Ergebnis, sondern eine Hierarchie von Segmentierungen mit unterschiedlichen Auflösungen zu erstellen. Diese Arbeit nimmt diesen Ansatz auf. Einzelne Segmente einer irregulären Bildpyramide werden dabei - unter Einbindung von zusätzlichem Wissen - bestätigt oder bearbeitet. Basierend auf einem automatischen regionenbasierten Verfahren, das Boruvkas minimalen aufspannenden Baum (MST) dazu verwendet, wichtige Gruppierungen - ähnlich dem Vorgang der menschlichen Wahrnehmung - zu segmentieren, binden wir zusätzlich den Benutzer in den Prozess ein. Speziell dafür definierte interaktive Operationen - basierend auf 'merging' (dt.:<br />Verschmelzen) von Regionen und 'inhibition' (dt.: Verhindern) derselbigen - sollen so den Segmentierungsprozess beeinflussen. Dies jedoch ohne, dass der automatische Teil - der Regionen anhand des festgelegten Homogenitätskriteriums auswählt - selbst eingeschränkt wird. Die dafür notwendigen Verarbeitungsschritte basieren der strukturellen Beschreibung durch duale Graphen und der Eltern-Kind Information. Solche halbautomatisierten Ansätze haben in Bezug auf Flexibilität und Akzeptanz viele Vorteile. Im Rahmen der Evaluierung versuchten wir, Antworten einerseits zu Fragen der Benutzerfreundlichkeit der interaktiven Segmentierungmethode zu finden und andererseits empirische Werte zu den Operationen selbst zu bekommen.<br />Dieses Verfahren kann zur Problemlösung verwendet werden, wenn Genauigkeit bei der Bildsegmentierung, der Annotation von Bildern oder dem Erstellen von Ground Truth benötigt wird.<br />
de
Image segmentation, in general, is the process of dividing a digital image into segments having a strong correlation with objects in it. Various techniques exist to locate objects of interest formed by different cues. However, general purpose methods cannot produce a perfect final segmentation by using low-level cues only. A way round the problem is rather to create a hierarchy of segmentations wi...
Image segmentation, in general, is the process of dividing a digital image into segments having a strong correlation with objects in it. Various techniques exist to locate objects of interest formed by different cues. However, general purpose methods cannot produce a perfect final segmentation by using low-level cues only. A way round the problem is rather to create a hierarchy of segmentations with different resolution levels. Higher level knowledge shall then be used to confirm or select regions for further attention. In automatic region-based segmentation, usually such a stack of segmentations is built in a bottom-up manner, guided by image feature data and the defined homogeneity criteria. We should take into account as well that the accuracy of an image segmentation is measurable, but its quality and usability are highly subjective and depend also on the scope of the application.<br />This thesis is about modifications of such an irregular image segmentation pyramid and embedding additional knowledge about the problem domain. Based on an existing automatic segmentation framework - where the minimum spanning tree based method tries to capture perceptually important groupings - we bring the user into the loop and define interactive operations guiding the segmentation process. Semi-automatic approaches show multiple benefits (like flexibility and acceptance), but may sometimes be required also from juridical point of view. The merging and inhibition from merging operations require the concept of graph-edges and the parent-child information contained in the merging tree. In this work each level is represented by a combinatorial map, encoding both region and boundary information in a single dual graph-structure. Using the connecting paths between the different levels, it is possible to set focus on regions from different granularities. In contrast to related approaches, this work is not limited to a single working level and pure sequential processing.<br />Moreover, regions having different resolutions - down to pixel level - may be selected in parallel. This requires dedicated (pre-)processing and conflict resolution methods which guarantee consistency throughout the hierarchy. The output is a stack of segmentations with a final result that best suits the users' applications, in the topmost level of the hierarchy.<br />In the evaluation part we finally attempt to find answers related to usability questions of the interactive segmentation tool developed and empirical values on the operations defined.<br />As it turned out, the candidates (beginners) were able to produce results satisfying their expectations. The data recorded during the segmentation-sessions reveals different strategies and gives evidence on the usage of the interactive operations. Open problems and future tasks will be discussed in this work as well. This procedure can be used for problems where accuracy in image segmentation, annotating images or creating ground truth among others is needed.
