Real-time distortion correction methods for curved monitors

Abstract

In den letzten Jahren sind gekrümmte Computermonitore zu einer plausiblen Option im Privatbereich geworden. Herkömmliche Echtzeit-Grafikpipelines gehen jedoch davon aus, dass die Oberfläche des Bildschirms flach ist, und die meisten Echtzeitanwendungen, wie Spiele und Simulationen, berücksichtigen die tatsächliche Geometrie des Bildschirms während des Renderingvorgangs nicht. Folglich erscheinen die synthetisierten Bilder verzerrt und unnatürlich, wenn sie auf einem gekrümmten Bildschirm betrachtet werden. Methoden zur Korrektur der Linsenverzerrung in Kameras und Head-Mounted Displays können auch für die Entzerrung auf gekrümmten Monitoren verwendet werden. Die auf dem gekrümmten Bildschirm zu sehende Verzerrung hängt jedoch auch von dem Blickwinkel ab. Mit Head-Tracking können perspektivisch korrekte Bilder erzeugt und eine genaue Krümmungskorrektur durchgeführt werden. In dieser Arbeit analysieren wir verschiedene Methoden der Krümmungskorrektur für Echtzeit-Anwendungen in Abhängigkeit des Blickwinkels und der Geometrie des Monitors. Die durchgeführten Experimente bestätigen, dass bildbasierte Methoden die kürzeste Rechenzeit und akzeptable Bildqualität erreichen. Echtzeit-Raytracing und geometriebasierte Implementierungen stellen bei der Verwendung aktueller Hardware praktikable Alternativen dar und werden dabei nicht von Resampling-Artefakten beeinträchtigt. Zusätzlich beschreiben wir ein zur Hardware-Tessellierung alternatives Unterteilungsschema für geometriebasierte Ansätze. Dabei wird die Geometrie entlang eines am Bildschirm ausgerichteten Gitters unterteilt. Die dadurch generierte Geometrie approximiert die Oberfläche des Bildschirms besser als die vordefinierten Tessellierungsmuster der Hardware-Tessellierung. Wir präsentieren eine Implementierung dieses Schemas, welche mit einem einzelnen Renderpass in der neuen Graphics Mesh Pipeline auskommt. Obwohl die Performanz unserer softwarebasierten Implementierung des Unterteilungsschemas weiter verbessert werden muss, werden damit bei grober Geometrie weniger Dreiecke im Vergleich zur Hardware-Tesselierung generiert und eine gleichwertige Bildqualität erzielt.

In recent years, curved computer monitors have become a viable option for consumers. However, traditional real-time graphics pipelines expect a flat display surface, and most real-time applications, such as games and simulations, do not consider the actual geometry of the monitor during rendering. As a result, the synthesized images appear distorted and unnatural when viewed on a curved display. Distortion correction methods for correcting the lens distortion in cameras and head-mounted displays can also be utilized in real-time rendering software for curved monitors. However, the final distortion observed on the curved display depends on the user's viewpoint. With head-tracking, accurate distortion correction can be performed, and perspective-correct projections can be produced. In this thesis, we analyze various methods for generating correct renderings based on the user's viewpoint and the geometry of the monitor. Our experiments confirm that image-based methods provide the best overall performance with acceptable image quality. However, real-time ray tracing and geometry-based implementations are practicable alternatives when using current hardware, and these methods do not suffer from image resampling artifacts. Additionally, we present and evaluate a custom subdivision scheme as an alternative to hardware tessellation for geometry-based solutions that can be implemented in a single render pass using the recently introduced graphics mesh pipeline. In our subdivision scheme, the geometry is split along a screen-aligned grid that reflects the geometry of the display more accurately than the fixed tessellation patterns of hardware tessellation. While the performance of our software-based subdivision scheme has to be improved further, it produces fewer triangles for coarse geometry and, at the same time, achieves similar image quality to hardware tessellation.