A Recommender System for Scientific Referees Based on Bibliographic Databases and Knowledge Graphs

Abstract

Peer-Reviews sind ein wesentlicher Bestandteil der modernen Wissenschaft. Dennoch stellt die manuelle Auswahl geeigneter Expert:innen für die Begutachtung wissenschaftlicher Facharbeiten eine komplexe Aufgabe für Verlage dar. Die Definition dessen, was eine:n gute:n Gutachter:in ausmacht ist subjektiv, und viele Faktoren können bei der Auswahl berücksichtigt werden. Weiters ist die Forschungsgemeinschaft groß und wächst stetig. Daher wird die Auswahl von Gutachter:innen zunehmend komplexer. Schließlich gibt es einige Interessenkonflikte, wie z.B. die Anstellung eines Autors / eine:r Autor:in und eines Gutachters / eine:r Gutachter:in bei derselben Institution, welche vermieden werden müssen. Wir haben uns zum Ziel gesetzt, ein Empfehlungssystem für wissenschaftliche Gutachter:innen zu erarbeiten, welches auf einem Knowledge Graphen (KG) basiert. Der KG erfasst relevantes Wissen über akademische Fortschritte und Forscher:innen im Bereich der Informatik, welches aus der DBLP-Datenbank extrahiert und durch deduktives Schlussfolgern abgeleitet wurde. Zusätzlich wurden Algorithmen entwickelt, die in der Lage sind, sinnvolle Empfehlungen von wissenschaftlichen Gutachter:innen zu berechnen. Hierfür haben wir maßgeschneiderte Ähnlichkeitsmaße definiert, welche von unserem Team bestehend aus Fachexperten modelliert wurden.Wir entwickelten und analysierten eine auf Koautor:innenschaft basierende Anreicherung des KG und erstellten ein Ähnlichkeitsmaß, welches auf den gewonnenen Erkenntnissen basiert. Außerdem entwickelten und analysierten wir eine Anreicherung des KG, welche auf Beiträgen bei Workshops und Konferenzen beruht. Auch hierfür haben wir ein Ähnlichkeitsmaß entwickelt. Anschließend fügten wirdiese bestehenden Anreicherungen und kombinierten die Ähnlichkeitsmaße zu einem einzigen Ähnlichkeitsmaß zusammen.Zehn verschiedene Empfehlungssysteme wurden quantitativ evaluiert. Die finale Evaluierung wurde von einer Gruppe von 15 Expert:innen durchgeführt, die die für sie berechneten Empfehlungen bewerteten.Der am besten abschneidende Recommender erreichte einen Mittelwert von etwa fünf ausgezeichneten Empfehlungen aus 10 Empfehlungen. Außerdem erreichte er im Mittel 2,8 geeignete Empfehlungen. Wenn man bedenkt, dass die DBLP-Datenbank aus etwa drei Millionen Forscher:innen besteht, lassen diese Ergebnisse hoffen, dass unsere Arbeit einen Beitrag zur automatisierten Auswahl von Gutachter:innen leistet.

Peer review is a fundamental component of modern science. Nevertheless, manually selecting experts suitable for peer reviewing specialized scientific works represents a complex task for publishers. Firstly, the definition of what makes a good reviewer is subjective and many factors can be taken into account when selecting one. Secondly, the research community is large and growing steadily. Therefore, referee selection becomes more complex to an increasing degree. Lastly, multiple conflicts of interest such as employment at the same institution of an author and the reviewer have to be avoided when selecting a referee. We aimed to facilitate handling these obstacles by proposing a recommender system for scientific referees based on a Knowledge Graph (KG).The KG captures relevant knowledge on academic progress and staff in the field of computer science extracted from the DBLP database and inferred through deductive reasoning. Additionally, algorithms capable of computing meaningful recommendations of scientific referees were established. Therefor we defined customized similarity measures modeled by our team of domain experts.We developed and analyzed a co-authorship-based enrichment of the KG, and provide a similarity measure based on our gained insights. Furthermore, we developed and analyzed a venue-based enrichment of the KG, complementing the co-authorship-based enrichment. We again provided a similarity measure based on this. Subsequently, we combined these existing enrichments and combined the similarity measures into a single similarity measure.Ten distinct recommenders were evaluated in a quantitative manner. The final evaluation was conducted by a set of 15 experts who rated recommendations computed for them. The best performing recommender achieved a mean of about five excellent recommended referees out of 10 recommendations. Moreover, it achieved a mean of 2.8 suitable recommendations. Taking into account that the DBLP data base consists of about three million researchers, being recommended about 7.8 excellent or suitable potential referees gives hope that our work contributes to automated means of referee selection.