Graph-based methods for user intent classification

Abstract

In this master’s thesis, we present a Hybrid system for intent classification based on a syntactic graph representation of natural language. We aimed to create a system that combined the strengths of rule-based approaches with machine learning models, specifically Support Vector Machines (SVM) and Bidirectional Encoder Representations from Transformers (BERT). Our goal was to develop a system that could accurately classify user intents in natural language. We used qualitative and quantitative methods to evaluate the system’s effectiveness.The qualitative analysis focused on syntactic graph representation and its ability to capture complex language structures. We found that the syntactic graph representation effectively captured the semantic meaning of the input text, enabling accurate intent classification. However, based on the syntactic graph representation, the rule-based system performed well on some intents but was less effective on others.Therefore, we developed a Hybrid system that combined the rule-based approach with machine learning models.The quantitative analysis revealed that the SVM model had hidden biases towards certain intents, which affected its overall performance. On the other hand, the BERT model performed better than the SVM model with a slight difference from the Hybrid model. The Hybrid system combined the strengths of the rule-based approach and machine learning models, resulting in improved performance across all intents. Our findings highlight the importance of qualitative analysis in developing effective natural language processing systems. By understanding the syntactic structure of natural language, we can create better models that accurately capture the meaning of the input text. Moreover, the Hybrid system we developed shows promise in improving the accuracy and robustness of intent classification systems. In conclusion, our thesis provides insights into the effectiveness of a Hybrid system for intent classification that combines the strengths of rule-based and machine-learning approaches. The results of this master thesis have practical implications for developing more accurate and robust intent classification systems, which can improve the performance of various natural language applications. Our work contributes to the ongoing efforts to develop natural language processing systems that accurately and effectively process intent classification.

In dieser Masterarbeit stellen wir ein hybrides System zur Absichtsklassifizierung vor, das auf einer auf einer syntaktischen Graphendarstellung natürlicher Sprache basiert. Unser Ziel war es, ein System zu entwickeln, das die Stärken von regelbasierten Ansätzen mit Modellen des maschinellen Lernens kombiniert, insbesondere Support Vector Machines (SVM) und Bidirectional Encoder-Repräsentationen von Transformatoren (BERT). Unser Ziel war es, ein System zu entwickeln, das Benutzerabsichten in natürlicher Sprache genau klassifizieren kann. Um die Wirksamkeit des Systems zu bewerten, haben wir sowohl qualitative als auch quantitative Methoden eingesetzt. Die qualitative Analyse konzentrierte sich auf die Darstellung des syntaktischen Graphen und seine Fähigkeit, komplexe Sprachstrukturen zu erfassen. Wir fanden heraus, dass die syntaktische Graphendarstellung die semantische Bedeutung des Eingabetextes erfassen konnte, was eine genaue Klassifizierung der Absicht ermöglichte. Das regelbasierte System, das auf der Darstellung des syntaktischen Graphen basierte, schnitt bei einigen Absichten gut ab, bei anderen jedoch weniger gut. Deshalb haben wir ein Hybridsystem entwickelt, das den regelbasierten Ansatz mit maschinellen Lernmodellen kombiniert. Die quantitative Analyse ergab, dass das SVM-Modell versteckte Verzerrungen gegenüber bestimmten Absichten hatte, was seine Gesamtleistung beeinträchtigte. Andererseits schnitt das BERT-Modell besser ab als das SVM-Modell, mit einem leichten Unterschied zum Hybridmodell. Das Hybridsystem war in der Lage, die Stärken des regelbasierten Ansatzes und der Modelle des maschinellen Lernens zu kombinieren, was zu einer verbesserten Leistung in allen Intents führte. Unsere Ergebnisse unterstreichen die Bedeutung der qualitativen Analyse bei der Entwicklung effektiver Systeme zur Verarbeitung natürlicher Sprache. Wenn wir die syntaktische Struktur der natürlichen Sprache verstehen, können wir bessere Modelle erstellen, die die Bedeutung des Eingabetextes genau erfassen. Darüber hinaus zeigt das von uns entwickelte Hybridsystem, dass es die Genauigkeit und Robustheit von Systemen zur Klassifizierung von Absichten verbessern kann. Zusammenfassend lässt sich sagen, dass unsere Arbeit einen Einblick in die Effektivität eines hybriden Systems zur Absichtsklassifizierung erlaubt, das die Stärken von regelbasierten und maschinellen Lernansätzen kombiniert. Die Ergebnisse dieser Studie haben praktische Auswirkungen auf die Entwicklung von genaueren und robusteren und robusten Systemen zur Absichtsklassifikation, die die Leistung verschiedener Anwendungen für natürliche Sprache verbessern können. Unsere Arbeit trägt zu den laufenden Bemühungen bei, Systeme zur Verarbeitung natürlicher Sprache zu entwickeln, die die Absichtsklassifikation genau und effektiv verarbeiten können.