Refine
Year of publication
- 2020 (2)
Document Type
- Master's Thesis (2)
Language
- German (2)
Has Fulltext
- yes (2) (remove)
Is part of the Bibliography
- no (2)
Keywords
- Gestenerkennung (2) (remove)
Heutzutage gewinnen visuelle und akustische Eingabemethoden für die Interaktion mit Anwendungen oder Komponenten zunehmend an Bedeutung und sollen die klassische Maus oder Tastatur gegebenenfalls ersetzen. Abgesehen von der Sprachsteuerung benötigen jedoch auch die neuen Methoden für das Absetzen eines Befehls größtenteils die Hände. Es bleibt jedoch die Frage bestehen was passiert, wenn keine freie Hand zur Verfügung steht und ein Sprachbefehl aufgrund des Lärmpegels nicht erkannt wird. Diese Arbeit beschreibt das Konzept einer alternativen Anwendungssteuerung mit Fußgesten und verwendet dafür die Einlegesohlen ‚stapp one‘, die mit Druck- und Beschleunigungssensoren ausgestattet sind. Aufgrund der Durchführung einer Umfrage mit Mehrheitsvotum lassen sich verschiedene Fußgesten für entsprechende Aktionen der gesteuerten Komponenten definieren. Diese wirken auf die Anwender und Anwenderinnen intuitiv und weisen folglich eine hohe Akzeptanz bei der Benutzung auf. Mit einer Verbindungskombination aus Bluetooth und ‚User-Datagram-Protocol‘ (UDP) werden die Sensordaten von der Sohle, über ein Smartphone, zu einem Computer weitergeleitet, um eine Gestenerkennung mit Machine-Learning umzusetzen. Über ein Datenfluss-System werden die empfangenen Werte der Sensoren aufbereitet und eine Feature-Extraktion durchgeführt, sodass diese für eine Klassifizierung von Fußgesten dienen. Basierend auf ‚Deeplearning4j‘ wird ein Algorithmus mit ‚Long Short-Term Memory‘ implementiert und zusammen mit dem Datenfluss-System als ‚Java‘-Bibliothek zur Verfügung gestellt. Zusätzlich werden Datensätze von Fußgesten einer Person erstellt und zum Training sowie zur Evaluierung der Gestenerkennung verwendet. In einer letzten Umfrage wird die implementierte Bibliothek in zwei Applikationen integriert. Zudem wird die Funktion des definierten ‚Gesten-Aktionen-Mapping‘ in drei Anwendungsszenarien analysiert. Die Forschungsergebnisse zeigen eine zuverlässige Klassifizierung der Fußgesten mit einer Genauigkeit von 82 %, wobei unter realen Bedingungen auch Werte zwischen 85 % und 100 % erreicht werden.
Das Teach Pendant wird dazu genutzt um Industrierobotern Zielposen beizubringen, damit diese die Zielposen daraufhin autonom anfahren können. Durch den auf dem Teach Pendant zur Eingabe verbauten Joystick oder die 3D-Maus ist es möglich mit geringem Rechenaufwand Bewegungen und somit Zielposen präzise vorzugeben.
Durch den rasanten Anstieg der Rechenkapazität und den stetigen Erfolgen bei der Erforschung von künstlichen neuronalen Netzwerken sind heutzutage Gestenerkennungssysteme in das Blickfeld der Forschung gelangt. Gestenerkennungssysteme versprechen intuitive und leicht zu erlernende Bedienungskonzepte. Durch den Einsatz von Gesten kann zudem auf ein zusätzliches Gerät in den Händen verzichtet werden, wodurch das Nutzererlebnis gesteigert werden kann. Dies kann bei schweren Eingabgeräten nicht nur die Arme sondern auch die Hände vor Ermüdungserscheinungen schonen.
Das Ziel dieser Arbeit soll es daher darstellen, ein Gestenerkennungssystem mit und ohne ROS-Anbindung zu erstellen, testen und analysieren. Die Gesteninformationen werden von einer Tiefenkamera vom Typ Azure Kinect bereitgestellt. Als Industrieroboter wird hierbei der "WidowX 200"-Lernroboter eingesetzt, da dieser aufgrund seiner kleinen Bauform einfach und effizient zum Testen von neuen Funktionalitäten eingesetzt werden kann. Die Tiefenkamera- und Roboter-Komponente sollen austauschbar bleiben. Die zu entwickelnden Gesten sollen vor allem hohe Ergonomie bereitstellen und vor unbeabsichtigter Durchführung gesichert sein. Die Genauigkeit der Gestenerkennung wird analysiert, um die Zuverlässigkeit der ausgewählten Gesten zu evaluieren. Die Genauigkeit der erreichten Zielposen des "WidowX 200"-Lernroboters wird analysiert und Latenztests werden durchgeführt um das Gestensystem als Gesamtes bewerten zu können.