Automated verification of scientific literature references

Abstract

Neueste Studien belegen eine Zunahme an wissenschaftlichen Werken, die unter Zuhilfenahme generativer KI-Tools verfasst wurden. Die Anwendung dieser Tools beschränkt sich nicht auf die Generierung von Textinhalten, sondern umfasst auch die Generierung von wissenschaftlichen Referenzen zu diesen Inhalten. Wie Studien zeigen, handelt es sich bei einem Großteil dieser generierten Referenzen um Halluzinationen, also aus- gedachte Referenzen, die in der Realität nicht existieren. Daher sind technologische Strategien erforderlich, um den Prozess der Verifizierung wissenschaftlicher Referenzen zu vereinfachen.Diese Arbeit befasste sich mit der Frage, in welchem Umfang ein technischer Prozess zur Authentifizierung wissenschaftlicher Referenzen eingesetzt werden kann. Zudem wurde erörtert, wie ein derartiges System für die Öffentlichkeit bereitgestellt werden sollte, um eine produktive Nutzung zu ermöglichen. Die theoretische Analyse umfasste die Erforschung des aktuellen Stand der Technik, von Zitierpraktiken, Möglichkeiten der Datensammlung sowie der Bereitstellung der Anwendung. Zusätzlich wurde eine Evaluierung unterschiedlicher wissenschaftlicher Suchmaschinen und Datenbanken durchgeführt.Als Teil der praktischen Analyse wurde ein technisches Verfahren in Form einer Webapplikation entwickelt, welches eine effiziente Überprüfung von wissenschaftlichen Referenzen ermöglicht. Hierfür verfügt das System über die Funktionen, mehrere Referenzen entgegenzunehmen, gleichzeitig zu verarbeiten und die daraus resultierenden Ergebnisse übersichtlich darzustellen.Die resultierende Anwendung diente als Grundlage für die anschließenden qualitativen Experteninterviews, die durchgeführt wurden, um empirische Daten über die Benutzerfreundlichkeit und Wahrnehmung sowie die Funktionalität der Anwendung im Hinblick auf ihren Verwendungszweck zu sammeln. Im Rahmen der Experteninterviews wurden sowohl die Möglichkeiten als auch die Grenzen der Anwendung hervorgehoben. Zudem konnte festgestellt werden, dass die Anwendung eine effektive Methode zur Erkennung erfundener wissenschaftlicher Referenzen darstellen könnte.

Latest studies have shown that the number of scientific papers that include content written by generative AI tools is increasing rapidly. These tools are not only used to generate text but also to provide scientific references to this content. As studies have shown, the majority of these generated references are fabricated, also known as hallucinations. Therefore, technical strategies are required to facilitate the process of verifying scientific references efficiently.This thesis explored the extent to which a technical procedure can be used to determine whether a scientific reference is genuine or not and how such a system should be made available to people for productive use. The theoretical analysis included an investigation of current state of the art, citation practices, data collection methodologies, implementation strategies and an evaluation of scientific sources like search engines and databases.As part of the practical analysis, this thesis examined the development of a technical procedure in the form of a web application that enables the automated checking of scientific references. Accordingly, the system is equipped with the capability to accept and process multiple scientific references concurrently, and to present the resulting data in a comprehensible format.The resulting application served as the foundation for subsequent qualitative expert interviews, which were conducted to gather empirical data concerning user perceptions, usability, and functionality of the application in relation to its intended use. These qualitative interviews highlighted the applications’ capabilities and limitations, while also indicating that it could be an effective solution to facilitate the process of identifying fabricated scientific references.