Neuro-Controller

Python
EEG
BCI
Elektrotechnik

Über das Projekt

Ich nutze das EEG-Headset EPOC X von Emotiv, um Gehirnströme zu erfassen. Mithilfe einer in Python entwickelten Schnittstelle verbinde ich das Headset mit dem Computer und nutze es als Controller. Dadurch kann das Headset zur Steuerung des PCs oder anderer Geräte eingesetzt werden.

Funktionsweise

Ähnlich wie beim Training einer künstlichen Intelligenz können mit der Emotiv-Software Muster von Gehirnströmen als sogenannte Commands trainiert werden. Für jedes Command sollte konsequent an eine bestimmte Vorstellung gedacht werden, damit das Muster zuverlässig gespeichert wird. Das EPOC X verfügt über 14 Kanäle und kann bis zu vier Commands speichern.

Umsetzung

Mithilfe von Python-Code kann ich die über die BCI-Software trainierten Commands abfangen und weiterverarbeiten. In meinem Fall löst ein Command die Aktivierung einer Taste eines virtuellen Controllers aus. Dadurch ist es möglich, Spiele ohne den Einsatz der Hände zu steuern.

Der Python-Code stellt eine Verbindung zur Emotiv API her und liest die durch das Headset ausgelösten Commands in Echtzeit aus. Parallel dazu wird über Python ein virtueller PC-Controller erzeugt. Das Input-Mapping ist aktuell noch hardcodiert, da es sich nicht um die finale Version handelt.
Screenshot von EmotivBCI Software

Software & Tools

Software

Emotiv BCI

Technologie

Python
Epoc X

Herausforderungen und Grenzen

Da das Headset nur bis zu vier Commands speichern kann, ist die Anzahl der verfügbaren Eingaben stark begrenzt. Abhängig vom jeweiligen Spiel kann dies dazu führen, dass eine sinnvolle Steuerung nicht möglich ist. Zudem wird empfohlen, etwa acht Stunden pro Command zu trainieren, um eine zuverlässige Erkennung der Muster zu erreichen, was einen erheblichen Nachteil darstellt.

Zusätzlich weist das Headset beim Auslesen der Gehirnströme und bei der Command-Erkennung eine leichte Verzögerung auf. Dadurch wird das Spielen von Echtzeit-Spielen deutlich erschwert.

Potenzial

Ich experimentiere gerne mit diesem Gerät, auch wenn es im Vergleich zu einem handelsüblichen Controller deutliche Einschränkungen aufweist. Es zeigt jedoch, dass bereits heute Möglichkeiten bestehen, Videospiele ohne den Einsatz der Hände zu spielen. Insbesondere im Bereich Accessibility kann eine solche Technik einen wertvollen Beitrag leisten, auch wenn dies mit dem hier verwendeten Gerät aufgrund des hohen Einrichtungsaufwands nur eingeschränkt möglich ist.

Screenshots & images

Learn more here:

white arrow pointing upwards Update cookies preferences