Web mining in online communities : a comparison of web crawling and mining tools and their economical appliance

Abstract

Web Communities gehören zu den umfangreichsten Datenquellen unserer Zeit. Hunderte Millionen von Benutzern unterhalten sich weitgehend unbeeinflusst über Persönlichkeiten, politische Themen, Produkteigenschaften und viele andere Themen, wodurch Online Communities eine potentiell wertvolle Informationsquelle für Marktforscher darstellen. Es existieren viele Tools, mit denen sich Daten aus dem Web extrahieren und analysieren lassen. Die große Menge an verfügbaren Tools stellt Webforscher vor die schwierige Herausforderung, das für sie geeignetste Tool zu finden. Das überwältigende Angebot an erhältlichen Web Mining Tools mit teils stark unterschiedlichen Fähigkeiten macht dem geneigten Benutzer die Entscheidung für eines schwer. Die vorliegende Arbeit hilft bei einer Entscheidung, indem Tools verglichen und tabellarisch gegenübergestellt werden. Um einen umfassenden und aussagekräftigen Vergleich zu ermöglichen, wird zunächst bestimmt, welche marktforschungsrelevanten Informationen durch die Anwendung von Web Mining aus Online Communities extrahiert und abgeleitet werden können. In einem zweiten Schritt werden Tools basierend auf ihren theoretischen Fähigkeiten ausgewählt. Diejenigen Tools, die sich theoretisch und praktisch für webbasierte Marktforschung eignen, werden im nächsten Schritt für praktische Web Crawling und Mining Tests herangezogen. Die aus den praktischen Tests gewonnenen Resultate werden analysiert, um deren Richtigkeit und Genauigkeit zu prüfen. Leser dieser Arbeit lernen, wie Web Mining in Online Communities durchgeführt werden kann. Sie erhalten einen umfassenden Überblick über Mining Tools und deren Fähigkeiten und finden heraus, welche Tools sich am besten dafür eignen, Web Mining in Online Communities durchzuführen. Zudem sehen sie, wie sich Freeware Tools in praktischen Tests schlagen.

Web communities are about one of the most comprehensive data sources of our time. Hundreds of millions of users are discussing people, political issues, product characteristics and many other topics in an unguided way making online communities a potentially valuable resource for market researchers. There is a large amount of tools available for extracting and analysing web data. The big number of available tools makes it difficult for any web researcher to choose the tool fitting his needs best. The vast amount of existing web mining tools with strongly differing capabilities leave the prospective user disoriented. The present thesis addresses this issue by creating a comparison and overview of such tools. The process to achieve the desired overview starts by discussing and defining the information which can be extracted and derived from online communities using web mining. The extracted data should be valuable for market research purposes. In a second step selection of tools is made based on the theoretical abilities each tool can offer. Tools, theoretically and practically suitable for web based market research, are chosen and used for web crawling and mining tests in a third step. The results will be screened and analysed to ensure their accuracy. Readers of this thesis will learn how web mining in online communities can be conveyed. They will find a comprehensive overview of mining tools and a comparison of their abilities. They will learn about those tools suited best for accomplishing web mining in online communities and see how freeware tools are performing in practical tests.