Reciprocal human-machine learning in manufacturing

Abstract

As the global economy experiences an era of digital transformation, skill shortages in the labor market are challenging industries worldwide. This shortage underscores the urgent need for innovative solutions to bridge the gap between available skills and market demand. In response to this pressing challenge, the novel concept of reciprocal human-machine learning (RHML) is emerging as a promising concept. Inspired by the symbiotic relationship between humans and machines, RHML recognizes the analogy between human learning processes and those of AI systems as an integration towards hybrid intelligence. RHML describes a bidirectional learning process encompassing human learning and machine learning in human-machine interaction. At its core, RHML envisions a cooperation in which both agents can contribute their strengths to performing tasks and ultimately trigger learning for both agents. RHML is thus understood as an integration of human-in-the-loop machine learning (HITL-ML) and computer-in-the-loop (CITL) learning. In this way, RHML is believed to enhance assistance of workers in manufacturing by means of extending capabilities of assistance systems, in particular learning assistance systems, and enable work-integ-rated learning. In fact, RHML is not yet defined in a way that it projects uniform understanding, nor a comprehensive analysis of a state of the art exists. Naturally, design knowledge for building RHML is scarce. Hence, this work aims to bring RHML into practice by means of a design science research project. This work contributes to the clarification of the concept of RHML by providing an analysis of the state of the art by means of a systematic literature review (cf. Chapter 3).Further, this work contributes a theory artifact of RHML, encompassing a framework to clarify what it is and what it is not and a taxonomy of design instantiations, as well as a classification of archetypes of RHML (cf. Chapter 4). This work derives design knowledge for RHML from its theoretical foundation in form of design principles of RHML to transfer RHML into practice. Design principles of RHML are further instantiated in a software artifact, i.e., a proof-of-concept (PoC) demonstrator. The software artifact is based on an interactive conversationalagent incorporating communication, feedback mechanisms, as well as functions for learning and teaching based on its knowledge base. Further, a use case based in industrial maintenance, specifically, problem-solving in corrective maintenance on example of a pneumatic cylinder is designed. The construction of design principles of RHML is evaluated in two cycles, namely, i) a focus group analysis with practitioners, ii) a simulation study of use of the PoC in corrective maintenance. The simulation study with novice participants is run to investigate the learning effect as well as the technology acceptance of the software artifact. The results suggest a significant learning effect for novice users. It is further investigated in which way experts perceive technology acceptance and continuance intention for using the conversational agent. The results suggest that the continuance intention for expert users of the RHML-enhanced agent is significantly increased compared to a learning assistance system which is not able to learn, e.g., by means of a HITL-ML. RHML does not only provide a substantial improvement to work-integrated learning of novices but also encourages experts to teach the system to increase its performance by means of improving and expanding the knowledge base. Practical implications to novice users and expert users are derived. Essentially, RHML is capable of enabling novice workers to engage effectively in a specific task environment (i.e., learning), as demonstrated in problem-solving in corrective maintenance. At the same time, experienced workers, e.g., experts, can teach the assistance system improve its performance, incorporate new or adjust existing knowledge. In the same way, workers of any experience level can give feedback to the system, e.g., correct its outputs towards an improved knowledge base. Therefore, implications for innovating work-integrated learning are present. For instance, RHML fosters experiential learning at work, situated in a shared task environment. Based on RHML’s own learning capability, users are able to teach and enable documentation, transfer and sharing of knowledge within the workforce. Therefore, a RHML may enhance practice of work-integrated learning, such as cognitive apprenticeship and community of practice. In addition to the design guidance presented in this work, results point towards further research to implement RHML to diverse technologies, formulation of technology-specific design principles, and optimization of teaching and learning. An outlook to bring RHML into manufacturing practice is given.

Industrieunternehmen werden durch die fortschreitende Digitalisierung als auch den Fachkräftemangel weltweit vor Herausforderungen gestellt. Der Mangel an Fachkräften unterstreicht den dringenden Bedarf an innovativen Lösungen, um die Lücke zwischen den verfügbaren Qualifikationen und der Nachfrage zu schließen. Zu diesem Zweck beschäftigt sich diese Arbeit mit dem Konzept des Reciprocal Human-Machine Learning (RHML) (zu Deutsch: Reziprokes Lernen zwischen Mensch und Maschine). RHML basiert auf einer symbiotischen Beziehung zwischen Mensch und Maschine. Die Integration von menschlicher Intelligenz und künstlicher Intelligenz wird als hybride Intelligenz bezeichnet. RHML beschreibt einen bidirektionalen Lernprozess, der menschliches Lernen und maschinelles Lernen in der Mensch-Maschine-Interaktion integriert. Im Kern sieht RHML eine Kooperation vor, in der beide Agenten ihre Stärken in die Aufgabenerfüllung einbringen können und nicht zuletzt Lernen für beide Agenten ermöglichen. RHML wird demnach als eine Integration von maschinellem Lernen, das vom Menschen assistiert wird (HITL-ML), und computer-assistiertem menschlichen Lernen (CITL) verstanden. Dadurch soll RHML die Unterstützung von Arbeitern in der Produktion verbessern, indem es die Fähigkeiten von Assistenzsystemen, insbesondere hinsichtlich selbstlernfähiger Assistenz, erweitert und arbeitsintegriertes Lernen ermöglicht. Tatsächlich existiert für RHML bisher noch kein einheitliches Verständnis sowie das Wissen über die Gestaltung von Anwendungen (design knowledge) ist gering. Das Ziel dieser Arbeit besteht folglich darin, RHML durch ein anwendungsorientiertes Forschungsprojekt in die Praxis zu überführen und die Gestaltung von Artefakten zu ermöglichen. Die vorliegende Arbeit leistet einen Beitrag zur Konzeptdefinition von RHML, auf Basis einer systematischen Literaturanalyse (siehe Kapitel 3). Des Weiteren trägt diese Arbeit zu einem kon-zeptionellen Artefakt bei, einem Rahmenwerk für RHML, zur Klärung dessen, was RHML ist und was es nicht ist. Zudem umfasst sie eine taxonomische Klassifizierung von Gestaltungslösungen für RHML und eine Charakterisierung von Archetypen (siehe Kapitel 4). Die vorliegende Arbeit leitet aus den theoretischen Grundlagen Gestaltungswissen für RHML in Form von Designprinzipien ab, um RHML in die Praxis zu übertragen. Die Gestaltungsprinzipien von RHML werden in einem Software-Artefakt implementiert. Das Software-Artefakt basiert auf einem interaktiven Konversationsagenten (conversational agent), der Kommunikation, Feedback-Mechanismen sowie Funktionen zum Lernen und Lehren auf der Grundlage seiner Wissensbasis beinhaltet. Ein Anwendungsfall aus dem Bereich der industriellen Instandhaltung, insbesondere der Problemlösung für einen Pneumatikzylinder im Rahmen der korrektiven Instandhaltung, wird entworfen. Die Gestaltungsprinzipien von RHML werden in zwei Stufen evaluiert. Dieerste Stufe umfasst eine Fokusgruppenanalyse mit Experten aus der Praxis, während die zweite Stufe eine Studie der Nutzung des Software-Artefaktes in der Instandhaltung betrachtet. Im Rahmen der Studie wird der Lerneffekt sowie die Technologieakzeptanz des Software-Artefakts bei Teilnehmern mit geringen Vorkenntnissen untersucht. Die Resultate legen nahe, dass unerfahrene Nutzer von einem signifikanten Lerneffekt profitieren. Des Weiteren wird untersucht,wie Experten die Technologieakzeptanz und die Absicht, die Nutzung des Konversationsagenten fortzusetzen, bewerten. Die Resultate legen nahe, dass die Absicht zur weiteren Nutzung für Experten, im Vergleich zu einem nicht lernfähigen System, signifikant erhöht ist. RHML stellt somit nicht nur eine wesentliche Verbesserung des arbeitsintegrierten Lernens für unerfahrenes Personal dar, sondern ermutigt auch Experten, dem System Wissen zu vermitteln, sowie die Assistenz durch Erweiterung der Wissensbasis zu verbessern.Die dargestellten Resultate haben praktische Konsequenzen für unerfahrenes und erfahrenes Personal. RHML ist in der Lage, eine effektive und arbeitsintegrierte Lernumgebung zu bieten, wie anhand der Problemlösung in der Instandhaltung demonstriert wurde.Gleichzeitig besteht für erfahrenes Personal, beispielsweise Experten der Instandhaltung, die Möglichkeit, dem Assistenzsystem neues Wissen zu vermitteln oder bestehendes Wissen anzupassen. In gleicher Weise ist es Arbeitern jeglicher Erfahrungsstufe möglich, dem System Feedback zu geben, beispielsweise um die Wissensbasis zu korrigieren. Dies hat praktischeAuswirkungen auf arbeitsintegriertes Lernen. Durch die Bereitstellung einer gemeinsamen Arbeitsumgebung wird das Erfahrungslernen während des Arbeitsprozesses gefördert. Die Lernfähigkeit des Systems ermöglicht es den Nutzern, Wissen zu vermitteln und dadurch die Dokumentation, den Transfer und die Weitergabe von Wissen innerhalb der Belegschaft zu fördern und weiteres Erfahrungslernen zu ermöglichen. Folglich kann RHML die Praxis des arbeitsintegrierten Lernens, wie beispielsweise kognitive Lehre (cognitive apprenticeship) und praxisorientierte Gemeinschaften (community of practice), erweitern. Die in dieser Arbeit vorgestellten Gestaltungsrichtlinien können durch weitere Forschungsaufwände ergänzt werden, die sich mit der Implementierung von RHML mittels unterschiedlicher Technologien, der Formulierung technologiespezifischer Gestaltungsprinzipien sowie der Optimierung von Lehren und Lernen befassen. Ein Ausblick zur praktischen Umsetzung von RHML in der industriellen Produktion wird damit umrissen.