The affective PDF reader

Abstract

Beim Affective PDF Reader handelt es sich um einen PDF Reader, der in Echtzeit den Gesichtsausdruck des Users interpretiert um daraus Rückschlüsse auf den emotionalen Zustand des Lesers zu ziehen. Aus den dadurch gewonnen Informationen wird visuelles Feedback im Texthintergrund generiert um dadurch die Möglichkeit einer positiven Beeinflussung des Leseprozesses zu untersuchen. Die Motivation zum Affective PDF Reader entstand einerseits durch die großen Fortschritte in den Bereichen Affective Computing, Signal Processing und Pattern Recognition. Andererseits aus der Erkenntnis, dass unsere oftmals regungslosen Gesichter bei der Arbeit mit Computern von keiner positiven Interaktion zeugen. Der Prototyp des Affective PDF Readers verwendet zur Visualisierung Fußabdrücke, deren Farbe sich aus dem detektierten Gesichtsausdruck ergibt. Diese Fußabdrücke dienen dazu die affektiven Reaktionen gemeinsam mit dem Text darzustellen um dadurch in einer Interaktionsschleife das Lesen positiv zu beeinflussen. Die Positionen dieser graphischen Objekte werden mit der Maus bestimmt. Nachdem ein Fußabdruck gezeichnet wurde, wird er langsam ausgeblendet, um ein Überladen zu vermeiden. Zukünftig soll die Positionierung mit einem Eyetracker erfolgen. Es hat sich gezeigt, dass visuelles Feedback in solch einer Anwendung großes Potential in sich birgt und viele neue, interessante Fragen aufwirft. Wenn die Visualisierung schlicht und nicht aufdringlich ist, kann der Leseprozess positiv beeinflusst werden.

The Affective PDF Reader is a PDF Reader combined with affect recognition systems. The aim of the project is to research a way to provide the reader of a PDF with real - time visual feedback while reading the text to influence the reading experience in a positive way.<br />The visual feedback is given in accordance to analyzed emotional states of the person reading the text - this is done by capturing and interpreting affective information with a facial expression recognition system. Further enhancements would also include analysis of voice in the computation as well as gaze tracking software to be able to use the point of gaze when rendering the visualizations. The idea of the Affective PDF Reader mainly arose in admitting that the way we read text on computers, mostly with frozen and dozed off faces, is somehow an unsatisfactory state or moreover a lonesome process and a poor communication. This work is also inspired by the significant progress and efforts in recognizing emotional states from video and audio signals and the new possibilities that arise from. The prototype system was providing visualizations of footprints in different shapes and colours which were controlled by captured facial expressions to enrich the textual content with affective information. The experience showed that visual feedback controlled by utterances of facial expressions can bring another dimension to the reading experience if the visual feedback is done in a frugal and non intrusive way and it showed that the evolvement of the users can be enhanced.