Semantic app development

Abstract

Ab dem 2007 eingeführten iPhone hat Mobile Computing bei Softwareentwicklern rasch an Bedeutung gewonnen. Die Folge ist eine immer größer werdende Menge an mobilen Apps, vorwiegend für iOS und Android Betriebssysteme. Obwohl es derzeit bereits mehr als 1,5 Millionen Apps für jede der erwähnten Plattformen gibt, hat sich die Verwendung von semantischen Technologien auf den aktuellen mobilen Geräten noch nicht durchgesetzt. Gerade der Einsatz von semantischen Technologien und Wissensverarbeitungstechnologien in einer mobilen App ermöglicht es aber, sich den steigenden Anforderungen an mobile Anwendungen erfolgreich zu stellen. Die Idee der vorliegenden Arbeit ist es nun, semantische Technologien mit der Leistung von Smartphones zu kombinieren und eine App zu entwickeln, die diesen Denkansatz auf essensbasierte Szenarien umlegt. Eine semantische App hat die Aufgabe, die Bedeutung der eingegebenen Benutzerdaten bereitzustellen. Im vorliegenden Fall ist das die Eingabe eines Fotos von Speisen aus einer Speisekarte - die Ausgangskommunikation zwischen dem/der Benutzer/in und der mobilen App. Die Ergebnisse der Eingabedatenanalyse sind dabei sowohl graphisch als auch textuell, sprachenspezifisch und kontextuell. Das Ziel der Arbeit ist die Implementierung eines App-Prototypen für Android. Die App sollte es ermöglichen, fotografierten textuellen Inhalt aus der Originalsprache in die Sprache des/der Benutzers/Bentzuerin umzuwandeln, und dieses Ergebnis wiederum eingebettet im Ausgangsfoto anzuzeigen. Hierfür stehen schon die Kerntechnologien Optical Character Recognition (OCR) und Machine Translation (MT) zur Verfügung.

Since the first release of the iPhone, mobile computing drew enormous software developers' attention and a huge amount of mobile apps has been built, predominantly for IOS and Android operating systems. Even though there are currently more than 1.5 million apps available for each mentioned platform, using semantic technologies on current mobile devices has not faced significant use yet. The idea of this thesis is to combine semantic technologies with the power of smart phones and to build an app which demonstrates this approach on food related scenarios. The use of semantic technologies and knowledge processing technologies embodied in a mobile app also addresses the challenges due to increasing demands for mobile applications. A semantic app is required to provide users the meaning of input data, which is in our case a photo of items in a restaurant menu containing food, which builds the communication between user and mobile app. The result of input data analysis is both graphical and textual, language-specific and contextual. The aim of this work is to prove that a semantic application is feasible on a mobile device. Therefore, the task is to implement a functional prototype of an android app that allows the user to take a photo whose textual content is translated from the original language into the language of the user. This result is returned embedded in the original photo as a display output. The core technologies for this purpose, Optical Character Recognition (OCR) and Machine Translation (MT), are already available.