A health-check component for meta search in e-tourism

Abstract

Die grundlegende Aufgabe einer Meta-Suchmaschine besteht in der Abfrage vieler unterschiedlicher Datenquellen zur Beantwortung einer einzigen Suchanfrage, ohne dass die Heterogenität der Daten und Datenquellen für den Endbenutzer eine Rolle spielt.<br />Das grundlegende Problem bei der Konzeption von Meta-Suchmaschinen besteht darin, dass die Betreiber derselben nur in den seltensten Fällen die zugrunde liegenden Datenquellen selbst kontrollieren können. Dies hat zur Folge, dass Ausfälle oder Fehlverhalten einer Datenquelle die Funktionsfähigkeit der gesamten Meta-Suchmaschine direkt negativ beeinträchtigen.<br />Da sich diese Diplomarbeit im speziellen mit Meta-Suchmaschinen im e-tourism Bereich befasst, spielen des Weiteren auch domänenspezifische Datenkonflikte eine Rolle.<br />Derartige Probleme entstehen meist unbemerkt und werden, wenn überhaupt, meist erst durch Zufall erkannt und beseitigt.<br />Die Hauptaufgabe der Diplomarbeit lag in der Entwicklung eines generischen Konzepts zur Qualitätskontrolle von Meta-Suchmaschinen. Der Schwerpunkt lag hierbei auf einer kontinuierlichen Überwachung der heterogenen Bezugsquellen der untergeordneten Suchmaschinen, die manuell nur unter großem Aufwand durchzuführen ist.<br />Dieses Konzept beruht auf der Auswertung von Informationen über jeden einzelnen Suchvorgang, die der Komponente über ein eigens entwickeltes Web Service Interface zu Verfügung gestellt werden.<br />

Meta search engines gather search results from several lower level search engines, combine their results and provide a single ranked list for the end user.<br />The problem with operating a meta search engine lies in the lack of control concerning the attached search engines or data sources. Meta search under the e-tourism domain connotes the amalgamation of tourism related data from several source providers.<br />This thesis focuses on developing a generic concept to monitor and manage data traffic in an e-tourism meta search environment. As a concrete example, a health check component for the CoPoFi (Country Portal for Finnish Tourism) accommodation meta search engine has been developed and employed.<br />This component enables the meta search operators to observe data traffic and detect errors based on a set of statistical methods, which are explained within this master thesis.