TabScript - Handschrifterkennung auf Android basierten Tablets

Einzelpräsentation:  30.05.2012 15:00 - 16:00 Uhr (Otto-Hahn-Str. 08 (IRF) Raum 108)

Die Aufgabe der Projektgruppe soll darin bestehen, eine Software zu entwickeln, mit der natürliche menschliche Handschrift zu einer Eingabemethode auf einem Android basierten Tablet-Computer wird. Die tatsächliche Anwendung auf dem Tablet wird durch die Teilnehmenden mitbestimmt! Die Veranstaltenden achten lediglich auf die Realisierbarkeit im Rahmen der Projektgruppe. Denkbare Anwendungen wären: Notiz Applikation, Chat Applikation, PDF Annotation, Kalender/TODO Applikation, Mind-Mapping Applikation.

Als konsequente Weiterentwicklung sogenannter Smartphones gewinnen Tablet-Computer mehr und mehr Marktanteile. Mit ihren berührungssensitiven Bildschirmen eignen sie sich im privaten Bereich vor allem als mobile Entertainment Geräte. Sie werden jedoch vielfach auch als elektronischer Notizblock, zum Beispiel in Besprechungen, eingesetzt. Im Gegensatz zu einem Laptop gestaltet sich die Interaktion dabei eher wie mit einem klassischen Notizblock. Das Gerät liegt vor dem/derNutzer:in auf dem Tisch und verdeckt ihn nicht, so dass eine direktere Kommunikation mit anderen Gesprächsteilnehmenden möglich wird. An dieser Stelle endet jedoch die Analogie zu dem Erstellen von Notizen mit Papier und Stift: Der/Die Nutzer:in muss sich durch die hohe Zahl verschiedener Applikationen und Anwendung verstärkt konzentrieren. Eine wichtige Komponente dabei ist die Eingabe von Text. Tablet-Computer bieten in der Regel ein sogenanntes Soft-Keyboard, ein Ersatz für eine herkömmliche Tastatur. Die Tastatur wird dabei durch eine Software Applikation auf dem Bildschirm dargestellt. Ein wesentlicher Nachteil ist, dass so die Tastatur den Bildschirm mindestens teilweise verdeckt. Je weniger der Bildschirm verdeckt wird, desto kleiner müssen aber auch die einzelnen Tasten dargestellt werden, was die Eingabe zunehmend erschwert. An dieser Stelle soll die Projektgruppe ansetzen. Durch die Entwicklung und Integration einer Applikation zur Handschrifterkennung soll die Interaktion mit dem Tablet intuitiver werden. Nutzer sollen so in die Lage versetzt werden, ihre Eingabe direkt in die Applikation zu schreiben, also nicht mehr an ein Soft-Keyboard gebunden sein. Die Eingabe von Text wird damit schneller, einfacher und ist ohne den Wechsel von Fenstern in der Applikation möglich.

Die Aufgabe dieser Projektgruppe ist es, eine Applikation zur Handschrifterkennung auf Tablet-Computern zu entwickeln. In der Anwendung tätigt der/die Nutzer:in  somit seine Eingabe, indem er Wörter und Sätze mit einem (kapazitiven) Spezialstift direkt auf den Bildschirm schreibt. Eine Einschränkung auf bestimmte Schriftstile, wie zum Beispiel Druckschrift, soll nicht notwendig sein. Je nach Typ der entwickelten Applikation soll auch möglichst auf eine separate Schreibregion verzichtet werden. Vielmehr soll die Stelle, an der geschrieben wurde, sinnvoll für die Eingabe einbezogen werden. Zum Beispiel ist es sinnvoll, den erkannten Text an der Stelle einzufügen, an der er in einer Notiz-Applikation geschrieben wurde. Der Prozess der Handschrifterkennung auf dem Tablet-Computer gliedert sich dann grob in folgende Abschnitte:

• Schriftmodell: Da die Erkennung auf Basis der Trajektorie eines Schriftzugs erfolgt, kommen Verfahren aus dem Bereich der Online Handschrifterkennung zum Einsatz. Zunächst wird die Trajektorie gefiltert, um die für die Erkennung irrelevante Information zu entfernen (Vorverarbeitung). Dann werden die Informationen extrahiert, die für die Erkennung bedeutungsunterscheidend sind (Merkmalsberechnung). In einem statistischen Modell erfolgt abschließend die Generierung von verschiedenen Hypothesen für die Transkription des Schriftzugs. Für das statistische Schätzen der Modellparameter steht eine Stichprobe von Online Handschriftdaten zur Verfügung.
• Sprachmodell: Ausgabe des Schriftmodells sind verschiedene Hypothesen für einzelne Buchstaben oder Wörter. An dieser Stelle ist es möglich den Kontext der Eingabe einzubeziehen und die verschiedenen Hypothesen neu zu gewichten. Sprachmodelle spiegeln dazu im Allgemeinen die Wahrscheinlichkeit bestimmter Buchstaben oder Wortsequenzen wider. Eine zentrale Frage ist wie diese Wahrscheinlichkeiten anwendungsbezogen geschätzt werden können. In der Projektgruppe sollen hierbei Methoden des Web-Mining einen Schwerpunkt darstellen. Dabei werden Wahrscheinlichkeiten dieser Sequenzen mit Hilfe von dynamisch aus dem Internet abgerufenen Texten geschätzt. Eine zusätzliche Möglichkeit besteht in der Einbindung der auf dem Tablet-Computer gespeicherten Wörterbücher. Diese beinhalten insbesondere auch die speziell durch den/die Nutzer:in verwendeten Wörter.
• Anwendungsintegration: Die Handschrifterkennung muss so umgesetzt werden, dass eine sinnvolle Anwendung auf dem Tablet-Computer resultiert. Die wahrscheinlichsten Erkennungsergebnisse sollen dem/der Nutzer:in  angezeigt werden. Die Herausforderungen in der Projektgruppe liegen insbesondere in dem Verständnis und richtigen Einsatz von Hilfsbibliotheken. Diese dienen dazu bestimmte Informationen abzufragen (z.B. ermitteln der Trajektorie des Schriftzugs) und das Erkennungsergebnis im Kontext der Anwendung zu verwenden.