Effective line drawing generation : optimizing line drawings based on human 3D shape perception

Abstract

Fortschrittliche Rendering-Algorithmen wie Suggestive Contours sind in der Lage Objekte im Stil von Linienzeichnungen mit vielen Detailgraden darzustellen. Wie allerdings ein ansprechender Detailgrad gewählt werden soll, basiert auf rein visueller Ästhetik und nicht auf fundierten Charakteristika wie beispielsweise der Genauigkeit von menschlicher 3D Gestaltwahrnehmung. Das Ziel dieser Arbeit ist es einen neuen Ansatz zur effektiven Generierung von Linienzeichnungen im Stil von Suggestive Contours zu finden, welcher für menschliche 3D Gestaltwahrnehmung optimiert ist und zugleich den Anteil an Tinte im Bild auf ein Minimum beschränkt. Die dabei entwickelte Meta-Heuristik zur Optimierung von Linienzeichnungen benutzt Schwellwerte basierend auf empirisch gesammelten Daten der menschlichen Gestaltwahrnehmung. Die Heuristik kann neben der Optimierung in Bezug auf 3D Gestaltwahrnehmung auch für die Optimierung anderer Charakteristika wie beispielsweise Cognitive Load oder auch für andere Linienzeichenstile wie Ridges and Valleys genutzt werden. Die entwickelte Optimierungsroutine basiert auf einer durchgeführten Wahrnehmungsstudie mithilfe des Gauge Figure Tasks wobei mehr als 17.000 Datenpunkte von Oberflächennormalen in Suggestive Contours Bildern erhoben wurden. Durch diese Studie liefert die vorliegende Arbeit neue Erkenntnisse für ein tieferes Verständnis menschlicher Gestaltwahrnehmung. Besonders die Genauigkeit von 3D Formwahrnehmungen sowie Gestaltzweideutigkeiten in Bezug auf wechselnde Detailgrade und in Bezug auf den verwendeten Objekttypus wurde untersucht. Zusätzlich wurden die Datenpunkte genutzt, um zwei Pixel-basierte Wahrnehmungscharakteristika zu berechnen: die optimale Größe einer Nachbarschaftsfläche für die Schätzung von 3D Formen sowie der optimale lokale Tinten-Prozentwert in dieser Nachbarschaft. In der Analyse konnte eine Nachbarschaftsgröße von 36 Pixel mit einem optimalen Tintenprozentsatz von 17.3% identifiziert werden. Diese Schwellwerte werden genutzt, um Suggestive Contours Bilder in einem Nachbearbeitungsschritt mittels eines greedy Nearest-Neighbor-Ansatzes zu optimieren. Die entwickelte Meta-Heuristik liefert visuell überzeugende Ergebnisse, wobei jeder Pixelwert möglichst nahe an den identifizierten Schwellwerten liegt. In der praktischen Anwendung kann dieses Optimierungsschema in Bereichen, in denen 3D Gestaltwahrnehmung wichtig ist, wie beispielsweise für Möbelhandbücher oder Architekturdarstellungen, eingesetzt werden. Sowohl die empirischen Erkenntnisse zur menschlichen Gestaltwahrnehmung als auch die praktische Anwendung der Ergebnisse formen die Basis zur Optimierung anderer Linienzeichnungsalgorithmen sowie für ein besseres Verständnis wie Menschen 3D Gestalten aus Linienzeichnungen wahrnehmen.

Advanced rendering algorithms such as suggestive contours are able to depict objects in the style of line drawings with various levels of detail. How to select an appropriate level of detail is based on visual aesthetics rather than on substantial characteristics like the accuracy of 3D shape perception. The aim of this thesis is to develop a novel approach for effectively generating line drawings in the style of suggestive contours that are optimized for human 3D shape perception while retaining the amount of ink to a minimum. The proposed post-processing meta-heuristic for optimizing line drawings uses empirical thresholds based on probing human shape perception. The heuristic can also be used to optimize line drawings in terms of other visual characteristics, e.g., cognitive load, and for other line drawings styles such as ridges and valleys. The optimization routine is based on a conducted perceptual user study using the gauge figure task to collect more than 17,000 high-quality user estimates of surface normals from suggestive contours renderings. By analyzing these data points, more in-depth understanding of how humans perceive 3D shape from line drawings is gained. Particularly the accuracy of 3D shape perception and shape ambiguity in regards to changing the level of detail and type of object presented is investigated. In addition, the collected data points are used to calculate two pixel-based perceptual characteristics: the optimal size of a local neighborhood area to estimate 3D shape from and the optimal local ink percentage in this area. In the analysis, a neighborhood size of 36 pixels with an optimal ink percentage of 17.3% could be identified. These thresholds are used to optimize suggestive contours renderings in a post-processing stage using a greedy nearest neighbor optimization scheme. The proposed meta-heuristic procedure yields visually convincing results where each pixel value is close to the identified thresholds. In terms of practical application, the optimization scheme can be used in areas where high 3D shape understanding is essential such as furniture manuals or architectural renderings. Both the empirical results regarding shape understanding as well as the practical applications of the thesiss results form the basis to optimize other line drawing methods and to understand better how humans perceive shape from lines.