A system for optical music recognition and audio synthesis

Abstract

Die vorliegende Arbeit befasst sich mit Optical Music Recognition (OMR), einer Methode zur Überführung von Musiknoten in eine digitale Form, sowie deren akustischerWiedergabe. Basierend auf einem Softwareprototyp, der für den Betrieb auf Mobiltelefonen entwickelt wurde, wird das Verfahren im Detail präsentiert und verwandten Systemen gegenüber gestellt. Im Mittelpunkt stehen im Wesentlichen die Bereiche Bildverarbeitung und Mustererkennung sowie Audiosynthese, wobei Erfahrungen und Forschungsergebnisse auf dem Gebiet der OMR selektiert für die Entwicklung des Prototypen herangezogen wurden. Im Besonderen stützt sich das Framework auf projektions-basierte Methoden, womit bereits in den 1980er Jahren beachtliche Ergebnisse erzielt wurden. Stellvertretend dafür ist die Arbeit von I. Fujinaga zu nennen, die einen wesentlichen Bezugspunkt für diese Diplomarbeit darstellt. Die relative Einfachheit der Umsetzung und der für die Anwendung auf mobilen Endgeräten ideale Tradeoff zwischen Erkennungsrate und rechnerischem Aufwand stellen einen großen Vorteil gegenüber anderen Methoden dar, die ihrerseits in dieser Arbeit anhand der ihnen zugrunde liegenden Techniken gegenüber gestellt werden werden. Die Erkennung der Musiksymbole wird mittels einfacher Algorithmen der Mustererkennung, konkret Template Matching, bewerkstelligt, wobei das Ergebnis mittels MIDISynthese in ein für Menschen hörbares Resultat umgewandelt wird. Während bereits leistungsfähige OMR-Systeme für die Nutzung mit Personal Computer existieren, steckt die Notenerkennung auf mobilen Geräten noch in ihren Kinderschuhen. Unter Zuhilfenahme bekannter und einschlägig erprobter Verfahren bietet die Diplomarbeit einen spielerischen Einstieg in das Gebiet der optischen Notenerkennung

This paper addresses Optical Music Recognition (OMR), a way to convert music notation into a digital representation, and its acoustic rendition. On the basis of a software prototype designed for mobile devices, the necessary steps will be discussed and compared to related work. The focus is on the fields of image processing and pattern recognition as well as audio synthesis. Innovations and experiences that have emerged in the field of OMR have been selected and used throughout the development process of the prototype. There is a particular emphasis on projection-based methods, which have proven highly successful as early as in the 1980s. Of all the works that were carried out, the research of I. Fujinaga has to be named as the strongest influence of this thesis. Both its easy implementation and its efficiency are well suited for the task of OMR on mobile devices. Furthermore, similarities and differences between the techniques applied and other approaches in the field of OMR will be presented. Symbol recognition is carried out by means of simple algorithms of pattern recognition (template matching) while the results are translated into an audible representation via MIDI synthesis. While there exist several performant OMR systems, specially tuned for the use with personal computers and scanners, OMR on mobile devices is still in its infancy. With the assistance of well-known and proven methods in this very field, this thesis provides a playful contact with optical music recognition.