Virtuality Meets Reality – Driver-in-the-Loop Evaluation of Lateral Guidance Systems

Abstract

Die Entwicklung von Fahrerassistenzsystemen (Advanced Driver Assistance Systems, ADAS) und autonomen Fahrfunktionen (Autonomous Driving, AD) für Personenkraftwagen (Pkws), insbesondere wenn menschliche Faktoren involviert sind, ist mit dem Problem nicht standardisierter und suboptimaler Test- und Optimierungsiterationen konfrontiert, die intransparent sind und sehr spät in der Prototypenphase des Entwicklungsprozesses stattfinden. Einerseits gibt es für die Charakterisierung von Querführungssystemen, die im Mittelpunkt dieser Dissertation steht, keine systematische Bewertungsmethode, die den Fahrereindruck des Systems eindeutig in ein greifbares multidimensionales Bewertungsschema übersetzt. Andererseits kann die Feinabstimmung von ADAS durch physische Prototypen mit professionellen Testfahrern oder Entwicklungsingenieuren noch nicht ersetzt werden, was zu einem hohen Ressourcenverbrauch und langen Entwicklungszy-klen führt. Um diese Herausforderungen zu bewältigen, wird in dieser Arbeit systematisch die Übertragbarkeit von Fahrversuchen in eine virtuelle Testumgebung mittels Driver-in-the-Loop (DiL)-Simulationen untersucht. Ziel ist es, ADAS effizient zu charakterisieren und zu optimieren, wobei der Schwerpunkt auf der Verbesserung des Fahrerlebnisses liegt. Um eine Grundlage zu schaffen, wurde eine umfassende Literaturrecherche zum Stand der Technik von Charakterisierungsmethoden der Fahrdynamik mit und ohne ADAS durchgeführt. Die relevanten Eigenschaften eines Querführungssystems werden zusammengefasst und die Charakterisierungsmethoden mit denen anderer, weiter fortgeschrittener Forschungsbereiche, wie z.B. Lenkgefühl, verglichen. Die Charakterisierungsmethoden können in vier Kategorien eingeteilt werden: objektive Bewertung, subjektive Bewertung, Objektivierung und andere Methoden, die auf Big Data oder maschinellem Lernen basieren. Es zeigt sich, dass die Charakterisierungsziele, -verfahren und -methoden für Querführungssysteme heterogen und wenig transparent sind. Die Ergebnisse aus der Literaturrecherche bildeten die Grundlage für die Identifizierung von Forschungslücken und für die Formulierung von Verbesserungsvorschlägen für die einzelnen Methoden. Um die Eignung eines kompakten, statischen Fahrsimulators für die Charakterisierung von Querführungssystemen zu untersuchen, wurde eine explorative Pilotstudie durchgeführt. Die Ergebnisse bestätigen, dass der statische Simulator grundsätzlich für die Bewertung eines Lane Departure Avoidance (LDA)-Systems geeignet ist. Es zeigt sich, dass die visuellen und haptischen Informationen, die über das Lenkrad übermittelt werden, entscheidend für die subjektive Bewertung von LDA sind. Es konnte festgestellt werden, dass im statischen Fahrsimulator die Qualität der Wahrnehmung und Bewertung von Lenkradbewegung, Lenkradmoment sowie der Änderungsrate der lateralen Position und Orientierung die der absoluten Position und Orientierung übertrifft. Darüber hinaus unterstreichen die Ergebnisse die Vorteile von professionellen Fahrern bei dieser Art von Charakterisierung aufgrund ihrer fortgeschrittenen Kenntnisse über das zu testende System sowie ihres besseren Verständnisses und ihrer konsistenten Verwendung der Bewertungsskala. Die Testszenarien „Lane Change“ und „Extended Curve Follow“ werden als am besten geeignet für die Charakterisierung von LDA in einem statischen Simulator identifiziert. Subjektive Bewertungskriterien, die auf sensorischer Information beruhen, anstatt auf der Präferenz der Testfahrer, erweisen sich als effektiver. Basierend auf den Ergebnissen der Pilotstudie wurde die Charakterisierungsmethode optimiert und in einer Back-to-Back-Studie geprüft, in der professionelle Fahrer ein LDA- und ein Lane Keeping Assist (LKA)-System in einem realen Fahrzeug und anschließend in einem hochdynamischen Fahrsimulator subjektiv bewerteten. Die absolute subjektive Validität des Fahrsimulators kann für die Merkmale Fahrerinteraktion, Sicherheitsgefühl, Funktionsperformance und die meisten ihrer Unteraspekte festgestellt werden. Für die Eingriffsintensität von LDA und die allgemeine Reproduzierbarkeit von LKA kann zumindest von einer relativen subjektiven Validität ausgegangen werden. Die Regressionsanalyse zeigt, welche Unteraspekte die Wahrnehmung von Interaktion, Sicherheit und Funktionsperformance am stärksten beeinflussen, und bestätigt damit die Effektivität der vorgeschlagenen Charakterisierungsmethode mit kunden- und expertenbasierten Kriterien. Die Ergebnisse zeigen, dass Fahrsimulatoren, insbesondere dynamische Fahrsimulatoren, für die Charakterisierung von Querführungssystemen und potenziell auch für andere ADAS- und AD-Funktionen geeignet sind. Das entwickelte effiziente DiL-Testverfahren ermöglicht die Integration der Systemcharakterisierung in die frühen Phasen des menschzentrierten ADAS-Entwicklungsprozesses.

The development of Advanced Driver Assistance Systems (ADAS) and Autonomous Driving (AD) functions for passenger cars, especially when human factors are involved, faces the problem of non-standardized and sub-optimal testing and optimization iterations, which are not transparent and take place very late in the prototype phase of the development process. On the one hand, there is no systematic evaluation method for the characterization of lateral guidance systems, which is the focus of this dissertation, that clearly translates the subjective driver impression and experience with the system into a tangible multi-dimensional evaluation scheme. On the other hand, the dominance of final tuning using physical prototypes with professional test drivers or development engineers cannot yet be replaced, resulting in high resource consumption and long development cycles. To address these challenges, this thesis systematically investigates the feasibility of transferring road tests to a virtual testing environment using Driver-in-the-Loop (DiL) simulations. The objective is to efficiently characterize and optimize ADAS with a focus on enhancing the driver experience.To establish a baseline, a comprehensive literature review was conducted on state-of-the-art vehicle dynamics characterization methods, both with and without ADAS. The relevant characteristics of a lateral guidance system are summarized and the characterization methods are compared with those of other more mature fields such as steering feel. The characterization methods can be categorized into four groups, namely objective evaluation, subjective evaluation, objectivization and other methods. It is found that the characterization objectives, procedures and methodologies for lateral guidance systems are heterogeneous and lack transparency. Based on these findings, the research gap can be identified and suggestions for improvement are made for each method.To investigate the suitability of a compact, static driving simulator for the characterization of lateral guidance systems, an exploratory pilot study was conducted. The results confirm that the static simulator is generally suitable for evaluating a Lane Departure Avoidance (LDA) system, showing that the visual and haptic information exchanged through the steering wheel is decisive in the subjective evaluation of LDA. It is found out that the quality of perception and evaluation of steering wheel motion and torque, as well as changing rate of lateral position and heading angle outperform that of absolute position and heading angle in the static simulator. Furthermore, the results highlight the advantages of professional drivers in this type of characterization tests for their advanced knowledge in the system under test (SUT) and their better understanding and consistent usage of the rating scale. The test scenarios “Lane Change” and “Extended Curve Follow” are identified as the most suitable for characterizing LDA in a static simulator. Evaluation criteria based on the driver’s perception of sensory information, rather than on preference, prove more effective.The characterization method was improved based on the findings of the pilot study and was tested in a back-to-back subject study, where professional drivers subjectively evaluated an LDA and a Lane Keeping Assist (LKA) in a real vehicle and then in a high-fidelity dynamic driving simulator. The absolute subjective validity of the driving simulator can be established for the characteristics of driver interaction, perceived safety, functional performance and most of their sub-aspects. For the intervention intensity of LDA and general reproducibility of LKA, at least a relative subjective validity can be assumed. The regression analysis of the subjective evaluation identifies the sub-aspects that most strongly influence driver perception of interaction, safety, and functional performance, further supporting the effectiveness of the proposed characterization method, which incorporates both customer- and expert-level criteria.The results show that driving simulators, especially dynamic driving simulators, are suit-able for the characterization of lateral guidance systems and potentially other ADAS and AD functions. The proposed efficient DiL test procedure shows the potential of integrating system characterization into the earlier phases of human-centered ADAS development process.