Jump label

Service navigation

Main navigation

You are here:

Main content

PG NextWii - Multimodale Interaktion mit Computerspielen

 

Motivation

 

Traditionell erfolgt die Kontrolle virtueller Avatare in Computerspielen über Joysticks, Gamepads, oder einfach die Maus oder Tastatur. Diese Möglichkeiten der Eingabe haben sich vielfach bewährt und sind noch immer die Methode der Wahl. Neben diesen klassischen Methoden gab es in den letzten Jahren Bestrebungen, alternative Steuerungsmethoden zu entwickeln. Die bekanntesten sind dabei das Sony Eye-Toy (C) (Steuerung über einfache videobasierte Aktionserkennung), die WII-Remote (C) (freie Steuerung im Raum über Beschleunigungs- und Infrarotsensoren), aber auch die ausGuitar-Hero(C) bekannte Gitarre. Alternative Eingabemethoden haben das Ziel, die Steuerung intuitiver zu gestalten, aber auch eine größere Immersion für den Spieler zu gewährleisten - der Spieler selbst wird durch eine stärkere physische Involvierung Teil der Handlung. 

Bisherige alternative Eingabemethoden sind oftmals durch strikte finanzielle Vorgaben beschränkt, d.h. die volle Bandbreite technischer Möglichkeiten wird nicht ausgeschöpft, da das Produkt bezahlbar bleiben soll. Diese Beschränkungen limitieren effektiv die Einsatzmöglichkeiten der erwähnten Alternativcontroller, so lassen sich über das Sony Eye-Toy (C) nur stark vereinfachte Spiele steuern und die von einer Wii-Remote erwarteten Handbewegungen sind oft wenig intituitiv. Es stellt sich unweigerlich die Frage, welche Eingabemethoden unter konsequenter Ausnutzung moderner Techniken realisierbar wären und welcher Grad an Immersion heute erreichbar ist. Diesen Fragen wollen wir in dieser Projektgruppe nachgehen.

 

Ziel

 

Das Ziel dieser Projektgruppe ist die Entwicklungen neuartiger, multimodaler Eingabemethoden für Computerspiele. Hierbei geht es vor allem um eine intuitive und natürliche Eingabe, welche ihren Einsatz in der nächsten Generation von Spielekonsolen finden könnte. Die Grundlage für diese Aufgabenstellung stellt dabei die Sensorumgebung der FINCA dar. Die FINCA-Experimentalumgebung am Institut für Roboterforschung ist ein Besprechungsraum welcher mit verschiedenen Kameras und Mikrophonen ausgestattet ist. Diese erlauben eine nahezu vollständige Erfassung der Geschehnisse innerhalb des Raumes. Die vorhandene Sensorik soll genutzt werden um eine Steuerung von Computerspielen mit direktem Körpereinsatz zu erreichen, d.h. springt oder läuft der Spieler in der realen Welt, so sollen sich seine Aktionen auf den virtuellen Avatar übertragen. Als Ersatz für die Maus werden wir die bekannte Wii-Remote einsetzen. Als mögliche Testspiele kommen dabei klassische sog. jump-and-run Spiele oder Sportspiele in Frage. Durch die Verfügbarkeit zahlreicher Open-Source Spiele sind darüber hinaus zahlreiche Alternativen denkbar. Die Geschehnisse des Computerspiels werden dabei mit einem Beamer an eine Wand der FINCA projiziert.

Die inhaltlichen Schwerpunkte der Projektgruppe konzentrieren sich auf die folgenden Arbeitsgebiete:

  • Entwicklung/Implementierung von Verfahren der Musterklassifikation zur Aktionserkennung in Videodaten.

    Die notwendige Personendetektion könnte dabei z.B. unter Verwendung von sog. histogram of oriented gradients (HOG)-Deskriptoren erfolgen. Diese Technik kann darüber hinaus auch zur effektiven Posenschätzung für die Handlungserkennung benutzt werden.

    Die Analyse charakteristischer Bewegungsmuster kann beispielsweise über temporal templates zur Erkennung einfacher menschlicher Handlungen wie Springen, Ducken, usw. erfolgen.

  • Einbindung der Wii-Remote für die Steuerung eines Computerspiels unter Linux (Treiber existieren bereits - www.wiili.org).

  • Eine sinnvolle Integration multimodaler (zumindest Wii-Remote und Video) Daten um von einem Menschen ausgeführte Handlungen auf  einen virtuellen Avatar in einem Computerspiel zu übertragen.

  • Erweiterung der Wii-Remote/Video Modalitäten um zusätzliche Möglichkeiten der Eingabe.

 

Teilnahmevoraussetzungen

 

Folgende Kenntnisse sind für die Teilnahme an der Projektgruppe notwendig:

  • Programmierkenntnisse (Java oder C/C++)
  • Vorlesung Darstellung, Verarbeitung und Erwerb von Wissen oder
  • Vorlesung Mensch-Maschine-Interaktion oder
  • Vorlesung Bildverarbeitung oder
  • Vorlesung Computer Vision oder
  • Vorlesung Mustererkennung

Generell sind Kenntnisse in den folgenden Bereichen hilfreich:

  • Erfahrung in der Softwareentwicklung unter UNIX/LINUX
  • Erfahrungen mit der Entwicklung komplexer, ggf. verteilter, Softwarearchitekturen

 

Termine

 

Kurzvorstellung im Rahmen der zentralen Informationsveranstaltung:

Mittwoch, 19. November 2008 14:00 - 16:00 Uhr, OH14, E23

 

Einzelpräsentation:

Montag, 24. November 2008, 11:00 Uhr, Institut für Roboterforschung, OH8, Raum 108

Anmeldeschluss:

Mittwoch, 3. Dezember 2008, 12:00 Uhr

 

Teilnehmerauswahl:

Mittwoch, 17. Dezember 2008

 

Erstes Treffen:

Mittwoch, 28.01.2009, 14:00, IRF 108

Nächstes Treffen:

Mittwoch, 25.3.2009, 14:00, IRF 108

Sonstiges

 

Der vollständige Antragstext zur geplanten Projektgruppe findet sich hier.

Die Folien zur Kurzvorstellung bei der globalen Informationsveranstaltung (19. November 2008, Prof. Fink) finden sich hier.

Die Folien zur Einzelvorstellung (24. November 2008, T. Plötz) finden sich hier.

Die Videos, die in den jeweiligen Vorträgen verwendet wurden, finden sich hier (23,6MB!). 

 

Kontakt

 

Dr. Thomas Plötz
Institut für Roboterforschung, Abteilung Intelligente Systeme
(755)-4645

Prof. Dr.-Ing. Gernot A. Fink
Informatik XII, Embedded Systems
(755)-4646

 

letzte Änderung: Thomas Plötz, 13.2.2009



Sub content

Contact

Dr.-Ing. Thomas Plötz
thomas.ploetz(at)udo.edu