Recommending reviewers for theses using artificial intelligence

Abstract

Die Evaluierung wissenschaftlicher Arbeiten, wie zum Beispiel bei der Einreichung für eine Konferenz, spielt eine wichtige Rolle in der Wissenschaft, um deren Integrität und Korrektheit zu gewährleisten. Dies gilt auch für die Erlangung eines Masterabschlusses ander TU Wien, bei dem die Studierenden ihre Abschlussarbeit vor einer Prüfungskommission verteidigen müssen. Die Prüfungskommission besteht aus der Betreuerin oder dem Betreuer der Arbeit und zwei weiteren Prüferinnen oder Prüfern, die im Rahmen des Prozesses manuell ausgewählt werden müssen. Die manuelle Auswahl dieser Mitgliederi st anfällig für Fehleinschätzungen, was zu einer fehlerhaften Beurteilung während der Prüfung führen kann.Ziel dieser Arbeit ist es, ein Programm für die Empfehlung der Mitglieder zu entwickeln,basierend auf aktuellen Methoden im Bereich der künstlichen Intelligenz (KI). Als Basis hierfür extrahieren wir notwendige Daten aus den internen Datenbanken der TU Wien.In weiterer Folge definieren wir verschiedene Architekturen für Neuronale Netze, welche anschließend mit Hilfe des Datensatzes trainiert werden. Die einzelnen Modelle basieren auf den Architekturen von LSTMs, Autoencoder und Siamesischen Neuronalen Netzen.Jedes Modell wird jeweils mit Hilfe von BERT, GPT2 und XLNet als Basis trainiert.Anschließend evaluieren wir die Netze anhand der Aufgabe, potenzielle Forschungsprofile auf Basis einer Abschlussarbeit zu bewerten, und vergleichen die Ergebnisse mit BM25.Zusätzlich hierzu werden die Modelle anhand ausgewählter Abschlussarbeiten manuell validiert, was zu einer besseren Aussagekraft der Ergebnisse führt. Wir kommen zu der Schlussfolgerung, dass Architekturen basierend auf Siamesischen Neuronalen Netzen vielversprechende Ergebnisse erzielen und angewandt für die Re-Evaluierung von Profilensogar BM25 übertreffen. Des Weiteren zeigen die Experimente, dass BERT als Basis die besten Resultate für alle Architekturen liefert. Abschließend schlussfolgern wir, dass der Auswahlprozess für die weiteren Prüferinnen und Prüfer optimiert werden kann, indem die von uns beschriebenen Methoden im Bereich der KI verwendet werden.

Peer review in the area of scientific contributions, such as publishing papers to conferences,plays a crucial role to evaluate the integrity and correctness of the respective work. This is also the case for the process of obtaining a Master’s degree at TU Wien, where students must defend their thesis in front of an examination board. The examination board consists of the supervisor and two additional reviewers, which must be selected manually as part of the process. The manual selection of those reviewers can be prone to humanmisjudgment, causing a faulty evaluation during the examination.In this thesis, we aim to develop a recommendation engine driven by state-of-the-artmethodology in the area of artificial intelligence. This process is done in three steps:Firstly, we extract necessary data from TU Wien internal databases. Then, we define aset of different deep learning architectures and train them on our data set. The presented models are inspired by and incorporate the architectures of LSTMs, Autoencoder and Siamese Neural Networks. Each model is trained based on three text embedding modules:BERT, GPT2 and XLNet. Finally, we evaluate the models on the task of ranking potentialr esearch profiles given a thesis as input and compare it with BM25, an established stateof-the-art baseline. Furthermore, a manual evaluation for selected use cases is performed to further validate their respective performances. We conclude that models based ona Siamese Neural Network architecture achieve promising results and, in the setting of neural re-ranking, even out perform BM25. Based on the conducted experiments,we also observe that BERT as embedding module results in the best scores across all architectures. Finally, we come to the conclusion that the matching and selection process of reviewers can be optimised using the above presented state-of-the-art deep learning methods.xi