Mobile Robotik

Posenbestimmung für die Mensch-Roboter Interaktion

„Der Spricht mit Händen und Füßen” – Diesen Satz hat der ein oder andere schon des Öfteren gehört, wenn er seine verbalen Ausführen durch starkes Gestikulieren unterstützt. Es handelt sich dabei um eine der natürlichsten und intuitivsten Formen der menschlichen Kommunikation - die mittels Gesten. 
So verständigen sich Taucher unter Wasser mit einfachen Handzeichen und verdeutlichen beispielsweise mithilfe der „Ok”-Geste, dass alles in Ordnung ist. Im fremdsprachigen Raum behilft man sich oft der Gestikulation um seine Absichten zu verdeutlichen und sogar Kleinkinder nutzen intuitiv Gesten, indem sie auf die Dinge zeigen, die sie gerne haben möchten.
In Kombination können aus verschiedenen Gesten sogar komplette Sprachen gebildet werden. Gehörlose Menschen verständigen sich beispielsweise mittels der Gebärdensprache ausschließlich anhand verschiedener Gesten.

Im Rahmen dieses Forschungsgebietes entwickeln wir Verfahren für die 3D Hand und Körperposenbestimmung, um die vielfältige, intuitive und natürliche Kommunikationsform der Gesten für die Mensch-Roboter Interaktion nutzbar zu machen. Hierbei liegt das Hauptaugenmerkt auf der Echtzeitfähigkeit der entwickelten Algotihmen auf Systemen mit geringerer Rechenleistung als heutige Standard Computer und ohne spezielle Grafikkarte wie z.B. dem Raspberry Pi 3. Ein weiteres Ziel ist der Einsatz dieser Verfahren im Bereich der Mensch-Roboter Interaktion in der mobilen Robotik. Als Grundlage für die Posenbestimmung dienen lediglich die 3D Informationen einer beliebigen Tiefenbildkamera. Auf die RGB-Daten wird gänzlich verzichtet. 

Im Bereich der Mensch-Roboter Interaktion sind viele mögliche Anwendungsbeispiele für Posenbestimmungs- und Gestenerkennungsverfahren. Wir betrachten vorrangig die folgenden Szenarien:

  • Der Austausch des Gamepads oder Joysticks durch Gesten bei der direkten Fernsteuerung des Roboters durch den Menschen. Hierbei können beispielsweise verschiedene Gesten zum umschalten zwischen den einzelnen Modi des Roboters die 3D Position der Hand zur Positionsänderung des Roboters genutzt werden. 
  • Der Roboter erfüllt autonom Aufgaben, bewegt sich also in der Umgebung und muss auf diese reagieren. Hierbei könnten Gesten des Menschen genutzt werden, um den Roboter anzuhalten oder neue Aufgaben zu geben.

Die Posenbestimmung der Hand könnte weiterhin für das Vorgeben von Endeffektorstellungen eines Industrieroboters zum späteren Abfahren genutzt werden.

Je nach Anwendung sind verschiedenste Problemstellungen zu lösen. Einige wichtige sind die:

  • Entwicklung von Hand- und Körperposenbestimmungsverfahren
  • Gestenerkennung anhand der Posen der Hand oder des Körpers
  • Erstellung einer Schnittstellen, die die Gesten interpretiert und die Ansteuerung eines Roboters erlaubt
  • Analyse des 3D Raums und Finden von Personen, die mit dem Roboter interagieren möchten 

Entwickeltes Trackingverfahren

Unsere Posenbestimmungsverfahren [EhK15] ermöglichen die Bestimmung der 3D Position und Orientierung der Hand und des Körpers sowie der Positionen der Gelenke und deren Stellungen (Winkel) in Echtzeit auf Systemen wie dem Raspberry Pi 3. Anhand dieser Informationen erfolgen Klassifizierungen von Hand- und Körpergesten, die wiederum für die Mensch-Roboter Interaktion im Bereich der mobilen Robotik genutzt werden [EhB16]. Eine erleichterte Steuerung von Industrierobotern mithilfe der Posenbestimmung anstelle von Gamepads ist ebenfalls möglich [GHK16].