Development of an assessment model for conversational agents in hybrid intelligence systems : using the example of chatbots for problem solving in maintenance

Abstract

Die zunehmende Integration von künstlicher Intelligenz (KI) in industrielle Systeme hat zu neuen Ansätzen für die Zusammenarbeit zwischen Mensch und Maschine geführt, insbesondere in Bereichen, die Spezialwissen und komplizierte Entscheidungsprozesse erfordern (Zhang et al., 2021; Weng et al., 2020). Ein solcher Bereich ist die technische Instandhaltung, in der hybride Intelligenz (HI) - die Kombination aus menschlicher und künstlicher Intelligenz - das Potenzial hat, die Effizienz und die Problemlösungskapazität erheblich zu steigern (Dellermann et al., 2019). Trotz der wachsenden Relevanz von Konversationsagenten in solchen Kontexten gibt es kaum strukturierte Methoden zur Bewertung ihrer Eignung für HI-Systeme. Diese Arbeit nutzt die Design Science Research Methodology (Peffers et al., 2007), um ein multikriterielles Entscheidungsfindungsinstrument zu entwickeln, das bei der Bewertung und Auswahl von Chatbots für Problemlösungen in der Instandhaltung hilft. Zunächst legt diese Arbeit eine konzeptionelle Grundlage für hybride Intelligenz, indem sie Perspektiven aus Informatik, Psychologie und Mensch-KI-Interaktion integriert (Akata et al., 2020; Dellermann et al., 2019; Weng et al., 2020). Anschließend werden spezifische Anforderungen an konversationelle Agenten in HI-Umgebungen identifiziert, die aus einer umfangreichen Literaturrecherche abgeleitet und durch Experteninterviews validiert wurden. Zu den wichtigsten Kriterien gehören Erklärbarkeit, Kontextbewusstsein, Lernfähigkeit und kollaboratives Interaktionsdesign (Schuetz et al., 2022; Wu et al., 2022). Auf der Grundlage dieser Erkenntnisse wird das HI-ASSS-Modell (Hybrid Intelligence Assessment and Selection Support System) unter Verwendung des Analytic Hierarchy Process (Saaty, 1980) entwickelt. Das Modell ermöglicht eine systematische Bewertung von Chatbot-Systemen anhand mehrerer qualitativer und quantitativer Kriterien. In einer Fallstudie wird der auf ChatGPT-4 basierende Chatbot Maintenance Mate mit dem BERT-basierten Modell Rasa verglichen. Die Ergebnisse zeigen, dass Rasa eine bessere Domänenanpassung, Sicherheit und kontextuelle Integration bietet, während Maintenance Mate eine bessere natürliche Sprachverarbeitung und Argumentationsfähigkeit aufweist. Diese Ergebnisse zeigen den Nutzen des Modells für die strukturierte Technologiebewertung in hybriden Intelligenzkontexten. Die Arbeit trägt dazu bei, die Lücke zwischen theoretischen Konzepten und angewandter Entscheidungsfindung zu schließen, indem sie ein replizierbares und anpassbares Bewertungsmodell anbietet. Dieser Rahmen erleichtert transparente Technologieauswahlprozesse in der Instandhaltung und anderen Bereichen, die durch die Zusammenarbeit von Mensch und KI gekennzeichnet sind. Obwohl Einschränkungen wie eine eingeschränkte Expertenstichprobe und eine simulierte Bewertungsumgebung eingeräumt werden, bietet die Arbeit eine solide Grundlage für weitere empirische Validierung und Modellverbesserung. Zukünftige Forschungsarbeiten sollten sich auf die Anwendung von HI-ASSS in realen industriellen Umgebungen, die Integration mit bestehenden IT-Systemen (z.B. CMMS, ERP) und die Ausweitung auf andere Bereiche wie Qualitätssicherung oder Wissensmanagement konzentrieren.

The growing integration of artificial intelligence (AI) into industrial systems has given rise to new approaches to human–machine collaboration, particularly in areas that demand specialist knowledge and intricate decision-making processes (Zhang et al., 2021; Weng et al., 2020). One such area is technical maintenance, where hybrid intelligence (HI) - the combination of human and artificial intelligence - has the potential to significantly enhance efficiency and problem-solving capabilities (Dellermann et al., 2019). Despite the growing relevance of conversational agents in such contexts, structured methods for evaluating their suitability in HI systems are scarce.This thesis uses the Design Science Research Methodology (Peffers et al., 2007) to create a multi-criteria decision-making tool to help evaluate and select chatbots for knowledge-intensive problem solving in maintenance. First, the study lays a conceptual foundation for hybrid intelligence by integrating perspectives from computer science, psychology and human–AI interaction (Akata et al., 2020; Dellermann et al., 2019; Weng et al., 2020). It then identifies specific requirements for conversational agents in HI settings, derived from an extensive literature review and validated through expert interviews. Key criteria include explainability, context awareness, learning capability and collaborative interaction design (Schuetz et al., 2022; Wu et al., 2022).Based on these findings, the HI-ASSS (Hybrid Intelligence Assessment and Selection Support System) model is developed using the Analytic Hierarchy Process (Saaty, 1980). The model enables systematic evaluation of chatbot systems across multiple qualitative and quantitative criteria. A case study has been developed to demonstrate HI-ASSS. In this case study, two chatbots are compared and assessed in context of a maintenance task. Maintenance Mate is a custom agent based on ChatGPT4. The other chatbot is a customized implementation based on the Rasa framework. The results demonstrate that Rasa provides superior domain adaptation, safety and contextual integration, whereas Maintenance Mate demonstrates superior natural language processing and reasoning capabilities. These results demonstrate the utility of the model for structured technology assessment in hybrid intelligence contexts.The thesis contributes to closing the gap between theoretical concepts and applied decision-making by offering a replicable and adaptable assessment model. This framework facilitates transparent technology selection processes in maintenance and other domains characterised by human–AI collaboration. While limitations such as a restricted expert sample and simulated evaluation environment are acknowledged, the work provides a strong foundation for further empirical validation and model enhancement. Future research should focus on applying HI-ASSS in real-world industrial environments, integrating it with existing IT systems (e.g., CMMS, ERP), and extending it to other domains such as quality assurance or knowledge management.