NextWii - Multimodale Interaktion mit Computerspielen

Traditionell erfolgt die Kontrolle virtueller Avatare in Computerspielen über Joysticks, Gamepads, oder einfach die Maus oder Tastatur. Diese Möglichkeiten der Eingabe haben sich vielfach bewährt und sind noch immer die Methode der Wahl. Neben diesen klassischen Methoden gab es in den letzten Jahren Bestrebungen, alternative Steuerungsmethoden zu entwickeln. Die bekanntesten sind dabei das Sony Eye-Toy (C) (Steuerung über einfache videobasierte Aktionserkennung), die WII-Remote (C) (freie Steuerung im Raum über Beschleunigungs- und Infrarotsensoren), aber auch die aus Guitar-Hero(C) bekannte Gitarre. Alternative Eingabemethoden haben das Ziel, die Steuerung intuitiver zu gestalten, aber auch eine größere Immersion für Spielende zu gewährleisten - der/die Spieler:in selbst wird durch eine stärkere physische Involvierung Teil der Handlung. 

Bisherige alternative Eingabemethoden sind oftmals durch strikte finanzielle Vorgaben beschränkt, d.h. die volle Bandbreite technischer Möglichkeiten wird nicht ausgeschöpft, da das Produkt bezahlbar bleiben soll. Diese Beschränkungen limitieren effektiv die Einsatzmöglichkeiten der erwähnten Alternativcontroller, so lassen sich über das Sony Eye-Toy (C) nur stark vereinfachte Spiele steuern und die von einer Wii-Remote erwarteten Handbewegungen sind oft wenig intituitiv. Es stellt sich unweigerlich die Frage, welche Eingabemethoden unter konsequenter Ausnutzung moderner Techniken realisierbar wären und welcher Grad an Immersion heute erreichbar ist. Diesen Fragen wollen wir in dieser Projektgruppe nachgehen.

Das Ziel dieser Projektgruppe ist die Entwicklungen neuartiger, multimodaler Eingabemethoden für Computerspiele. Hierbei geht es vor allem um eine intuitive und natürliche Eingabe, welche ihren Einsatz in der nächsten Generation von Spielekonsolen finden könnte. Die Grundlage für diese Aufgabenstellung stellt dabei die Sensorumgebung der FINCA dar. Die FINCA-Experimentalumgebung am Institut für Roboterforschung ist ein Besprechungsraum welcher mit verschiedenen Kameras und Mikrophonen ausgestattet ist. Diese erlauben eine nahezu vollständige Erfassung der Geschehnisse innerhalb des Raumes. Die vorhandene Sensorik soll genutzt werden um eine Steuerung von Computerspielen mit direktem Körpereinsatz zu erreichen, d.h. springt oder läuft der/die Spieler:in in der realen Welt, so sollen sich seine Aktionen auf den virtuellen Avatar übertragen. Als Ersatz für die Maus werden wir die bekannte Wii-Remote einsetzen. Als mögliche Testspiele kommen dabei klassische sog. jump-and-run Spiele oder Sportspiele in Frage. Durch die Verfügbarkeit zahlreicher Open-Source Spiele sind darüber hinaus zahlreiche Alternativen denkbar. Die Geschehnisse des Computerspiels werden dabei mit einem Beamer an eine Wand der FINCA projiziert.

Die inhaltlichen Schwerpunkte der Projektgruppe konzentrieren sich auf die folgenden Arbeitsgebiete:

• Entwicklung/Implementierung von Verfahren der Musterklassifikation zur Aktionserkennung in Videodaten.
  
  Die notwendige Personendetektion könnte dabei z.B. unter Verwendung von sog. histogram of oriented gradients (HOG)-Deskriptoren erfolgen. Diese Technik kann darüber hinaus auch zur effektiven Posenschätzung für die Handlungserkennung benutzt werden.
  
  Die Analyse charakteristischer Bewegungsmuster kann beispielsweise über temporal templates zur Erkennung einfacher menschlicher Handlungen wie Springen, Ducken, usw. erfolgen.

• Einbindung der Wii-Remote für die Steuerung eines Computerspiels unter Linux (Treiber existieren bereits - www.wiili.org).

• Eine sinnvolle Integration multimodaler (zumindest Wii-Remote und Video) Daten um von einem Menschen ausgeführte Handlungen auf  einen virtuellen Avatar in einem Computerspiel zu übertragen.

• Erweiterung der Wii-Remote/Video Modalitäten um zusätzliche Möglichkeiten der Eingabe.