Cognitive load of pervasive technology: How can it be determined?

Abstract

In recent years, cognitive load has risen in importance in the field of human-computer interaction, particularly in the ubiquitous computing community, as an important factor for human performance and learning. Especially, since many in the field have proclaimed its accurate detection a necessity for adaptive automation. Until the time of writing, many method have been developed to estimate it chasing ever higher classification accuracy with recent research focusing on objective data which can be analysed in real-time for use in adaptive automation for ubiquitous and pervasive computer systems.For most methods, however, the classification accuracy is barely comparable to a simple self-reporting Likert Scale. Additionally, the used methods had major methodological flaws limiting their interpretation of results. Cognitive load is defined as the amount of working memory used by a specific learner with their specific prior knowledge during a given learning activity. With little reference to the name giving Cognitive Load Theory, the methods analysed in this work neither included the theory in their interpretation of findings nor accurately attributed that they were actually trying to measure current working memory use. Additionally, they did not control for prior knowledge in their samples. Furthermore, their methods used to induce mental workload are not guaranteed to induce similar levels of working memory use for each individual, especially since prior knowledge was not controlled for. Nonetheless, the methods called their results cognitive load. While the current flaws of methodology make the methods questionable for confident use for adaptive automation, the use of cognitive load measures to evaluate technology adoption provides an alternative. As technology adoption is in essence learning how to use new technology, cognitive load measures could be of value here.With this goal in mind, I explore a mixed method approach of estimating cognitive load and analyse the findings through a lens of Cognitive Load Theory. The methods are tested in a user study evaluating the usability of a Spatial Augmented Reality system with fifteen representative target users. The tested methods are the NASA-TLX, a secondary task, the use of behavioural measures, learnability measures and an adapted cognitive walkthrough.When comparing the claims possible with each individual method, it quickly becomes clear that one method alone did not allow a holistic enough view to confidently capture what transpired in the interaction and requiring to many assumptions for accurate interpretation. Only when including multiple methods, causes for findings could be supported by data and put into perspective to paint a conclusive and convincing picture of the cognitive load of users learning the interaction. Nonetheless, some methods did not provide the expected quality of data while others required too much effort to warrant future use given their explanatory power.Based on my findings, I argue that near-future methodology should encompass a toolkit of mixed methods to estimate cognitive load. This toolkit can include methods earlier criticised for their unsupported claims if their limitations are acknowledged and counter- balanced by other methods. Cognitive Load Theory is by no means undisputed and still requires additional validation as well as refinement. Therefore, methodology to evaluate the phenomenon should aim to be as holistic as possible to aid in its refinement and identify weaknesses or contradictions. As methodology and theory get refined in turn, a post-positivist view on the phenomenon increasingly becomes useful. Until there is a proven baseline to interpret post-positivist findings from, however, I deem a constructivist mixed-method approach as suggested by this work more sensible.

In den letzten Jahren hat Cognitive Load im Bereich der Mensch-Computer-Interaktion, insbesondere im Bereich Ubiquitous-Computing (UbiComp), als ein wichtiger Faktor für die menschliche Leistung und das Lernen an Bedeutung gewonnen. Vor allem, da im UbiComp-Bereich viele die genaue Bestimmung von Cognitive Load zu einem wichtigen Meilenstein für adaptive Automatisierung erklärt haben. Bis zur Erstellung dieser Arbeit wurden zahlreiche Methoden entwickelt, um die Klassifizierungsgenauigkeit zu erhöhen, wobei sich die jüngste Forschung auf objektive Daten konzentriert, die in Echtzeit für die Verwendung in der adaptiven Automatisierung für UbiComp-Systeme analysiert werden können.Die meisten Methoden schaffen es jedoch kaum, die Klassifizierungsgenauigkeit einer einfachen Likert-Skala zur Selbsteinschätzung zu übertreffen. Außerdem wiesen die verwendeten Methoden erhebliche methodische Mängel auf, die die Interpretierbarkeit ihrer Ergebnisse einschränken. Cognitive Load ist definiert als die Menge an Working Memory, die von bestimmten Lernenden mit ihrem spezifischen Vorwissen während einer bestimmten Lernaktivität verwendet wird. Die in dieser Arbeit untersuchten Methoden bezogen Cognitive Load Theory jedoch weder in ihre Interpretation der Ergebnisse ein noch gaben sie genau an, dass sie tatsächlich versuchten, die aktuelle Nutzung des Working Memory zu messen. Außerdem kontrollierten sie nicht das Vorwissen ihrer Proband*innen. Darüber hinaus ist nicht gewährleistet, dass die von ihnen verwendeten Methoden zur Induzierung mentaler Arbeitsbelastung bei jeder Person ein ähnliches Niveau der Nutzung des Working Memory hervorrufen, insbesondere da das Vorwissen nicht kontrolliert wurde. Nichtsdestotrotz wurden die Ergebnisse als Cognitive Load bezeichnet. Während die gegenwärtigen Mängel die Methoden für eine zuversichtliche Verwendung für die adaptive Automatisierung fragwürdig machen, bietet die Verwendung von Messungen von Cognitive Load zur Bewertung der Technology Adoption eine Alternative. Da es sich bei Technology Adoption im Wesentlichen um das Erlernen des Umgangs mit einer neuen Technologie handelt, könnten Messungen von Cognitive Load hier wertvolle Dienste leisten.Mit diesem Ziel vor Augen teste ich einen gemischten Methodenansatz zur Schätzung von Cognitive Load und analysiere die Ergebnisse durch die Brille der Cognitive Load Theory. Die Methoden wurden in einer Nutzer*innen-Studie zur Evaluierung der Nutzbarkeit eines Spatial-Augmented-Reality-Systems mit fünfzehn repräsentativen Zielnutzer*innen getestet. Die getesteten Methoden waren der NASA-TLX, eine Sekundäraufgabe, die Verwendung von Verhaltensmaßen, Learnability-Daten und ein angepasster Cognitive Walkthrough.Beim Vergleich der möglichen Aussagen jeder einzelnen Methode wird deutlich, dass eine Methode allein keine ganzheitliche Sichtweise erlaubt, um das Geschehen in der Interaktion überzeugend zu erfassen, und zu viele Annahmen für eine detaillierte Interpretation erfordert. Erst durch die Einbeziehung mehrerer Methoden können Ursachen für Befunde durch Daten gestützt und relativiert werden, um ein schlüssiges und überzeugendes Bild des Cognitive Load der Nutzer*innen beim Erlernen der Interaktion zu zeichnen. Dennoch lieferten einige Methoden nicht die erwartete Qualität an Daten, während andere zu viel Aufwand erforderten, um angesichts ihrer Erklärungskraft eine künftige Verwendung zu rechtfertigen.Auf der Grundlage meiner Ergebnisse vertrete ich die Auffassung, dass die Methodik der nahen Zukunft ein Toolkit mit gemischten Methoden zur Schätzung von Cognitive Load umfassen sollte. Dieses Toolkit kann ohne weiteres Methoden enthalten, die ich in dieser Arbeit aufgrund ihrer nicht belegten Behauptungen kritisiert habe, sofern ihre Grenzen in Aussagen miteinbezogen werden. Cognitive Load Theory ist keineswegs unumstritten und bedarf noch weiterer empirischer Validierung und Verfeinerung. Daher sollte die Methodik zur Bewertung des Phänomens so ganzheitlich wie möglich sein, um ihre Verfeinerung zu unterstützen und Schwächen oder Widersprüche aufzudecken. In dem Maße, wie Methodik und Theorie verfeinert werden, wird eine post-positivistische Sichtweise des Phänomens immer nützlicher. Solange es jedoch keine gefestigten Anhaltspunkte gibt, von der aus quantitative Ergebnisse interpretiert werden können, halte ich einen konstruktivistischen Ansatz mit gemischten Methoden, wie er in dieser Arbeit vorgeschlagen wird, für sinnvoller.