Traditionell erfolgt die Kontrolle virtueller Avatare in Computerspielen über Joysticks, Gamepads, oder einfach die Maus oder Tastatur. Diese Möglichkeiten der Eingabe haben sich vielfach bewährt und sind noch immer die Methode der Wahl. Neben diesen klassischen Methoden gab es in den letzten Jahren Bestrebungen, alternative Steuerungsmethoden zu entwickeln. Die bekanntesten sind dabei das Sony Eye-Toy (C) (Steuerung über einfache videobasierte Aktionserkennung), die WII-Remote (C) (freie Steuerung im Raum über Beschleunigungs- und Infrarotsensoren), aber auch die ausGuitar-Hero(C) bekannte Gitarre. Alternative Eingabemethoden haben das Ziel, die Steuerung intuitiver zu gestalten, aber auch eine größere Immersion für den Spieler zu gewährleisten - der Spieler selbst wird durch eine stärkere physische Involvierung Teil der Handlung.
Bisherige alternative Eingabemethoden sind oftmals durch strikte finanzielle Vorgaben beschränkt, d.h. die volle Bandbreite technischer Möglichkeiten wird nicht ausgeschöpft, da das Produkt bezahlbar bleiben soll. Diese Beschränkungen limitieren effektiv die Einsatzmöglichkeiten der erwähnten Alternativcontroller, so lassen sich über das Sony Eye-Toy (C) nur stark vereinfachte Spiele steuern und die von einer Wii-Remote erwarteten Handbewegungen sind oft wenig intituitiv. Es stellt sich unweigerlich die Frage, welche Eingabemethoden unter konsequenter Ausnutzung moderner Techniken realisierbar wären und welcher Grad an Immersion heute erreichbar ist. Diesen Fragen wollen wir in dieser Projektgruppe nachgehen.
Das Ziel dieser Projektgruppe ist die Entwicklungen neuartiger, multimodaler Eingabemethoden für Computerspiele. Hierbei geht es vor allem um eine intuitive und natürliche Eingabe, welche ihren Einsatz in der nächsten Generation von Spielekonsolen finden könnte. Die Grundlage für diese Aufgabenstellung stellt dabei die Sensorumgebung der FINCA dar. Die FINCA-Experimentalumgebung am Institut für Roboterforschung ist ein Besprechungsraum welcher mit verschiedenen Kameras und Mikrophonen ausgestattet ist. Diese erlauben eine nahezu vollständige Erfassung der Geschehnisse innerhalb des Raumes. Die vorhandene Sensorik soll genutzt werden um eine Steuerung von Computerspielen mit direktem Körpereinsatz zu erreichen, d.h. springt oder läuft der Spieler in der realen Welt, so sollen sich seine Aktionen auf den virtuellen Avatar übertragen. Als Ersatz für die Maus werden wir die bekannte Wii-Remote einsetzen. Als mögliche Testspiele kommen dabei klassische sog. jump-and-run Spiele oder Sportspiele in Frage. Durch die Verfügbarkeit zahlreicher Open-Source Spiele sind darüber hinaus zahlreiche Alternativen denkbar. Die Geschehnisse des Computerspiels werden dabei mit einem Beamer an eine Wand der FINCA projiziert.
Die inhaltlichen Schwerpunkte der Projektgruppe konzentrieren sich auf die folgenden Arbeitsgebiete:
Entwicklung/Implementierung von Verfahren der Musterklassifikation zur Aktionserkennung in Videodaten.
Die notwendige Personendetektion könnte dabei z.B. unter Verwendung von sog. histogram of oriented gradients (HOG)-Deskriptoren erfolgen. Diese Technik kann darüber hinaus auch zur effektiven Posenschätzung für die Handlungserkennung benutzt werden.
Die Analyse charakteristischer Bewegungsmuster kann beispielsweise über temporal templates zur Erkennung einfacher menschlicher Handlungen wie Springen, Ducken, usw. erfolgen.
Einbindung der Wii-Remote für die Steuerung eines Computerspiels unter Linux (Treiber existieren bereits - www.wiili.org).
Eine sinnvolle Integration multimodaler (zumindest Wii-Remote und Video) Daten um von einem Menschen ausgeführte Handlungen auf einen virtuellen Avatar in einem Computerspiel zu übertragen.
Erweiterung der Wii-Remote/Video Modalitäten um zusätzliche Möglichkeiten der Eingabe.
Folgende Kenntnisse sind für die Teilnahme an der Projektgruppe notwendig:
Generell sind Kenntnisse in den folgenden Bereichen hilfreich:
Mittwoch, 19. November 2008 14:00 - 16:00 Uhr, OH14, E23
Montag, 24. November 2008, 11:00 Uhr, Institut für Roboterforschung, OH8, Raum 108
Mittwoch, 3. Dezember 2008, 12:00 Uhr
Mittwoch, 17. Dezember 2008
Mittwoch, 28.01.2009, 14:00, IRF 108
Nächstes Treffen:
Mittwoch, 25.3.2009, 14:00, IRF 108
Der vollständige Antragstext zur geplanten Projektgruppe findet sich hier.
Die Folien zur Kurzvorstellung bei der globalen Informationsveranstaltung (19. November 2008, Prof. Fink) finden sich hier.
Die Folien zur Einzelvorstellung (24. November 2008, T. Plötz) finden sich hier.
Die Videos, die in den jeweiligen Vorträgen verwendet wurden, finden sich hier (23,6MB!).
Dr. Thomas Plötz
Institut für Roboterforschung, Abteilung Intelligente Systeme
(755)-4645
Prof. Dr.-Ing. Gernot A. Fink
Informatik XII, Embedded Systems
(755)-4646
letzte Änderung: Thomas Plötz, 13.2.2009