MRM/McCann entwickelt Gebärdensprache-Tool für digitale Sprachassistenten

Sprachassistenten wie Amazon Echo, Google Home oder Apples Siri sind in aller Munde - wie aber können Menschen mit einer Hörbehinderung Sprachassistenten nutzen? In Deutschland leben nach Angaben des Deutschen Schwerhörigenbundes ca. 16 Millionen Schwerhörige. Etwa 140.000 davon sind auf Gebärden-Sprachdolmetscher angewiesen.

Die Bundesjugend – der Verband junger Menschen mit Hörbehinderung e.V., Mainz, und die IPG-Agentur MRM//McCann, Frankfurt am Main, haben gemeinsam ein Gebärdensprache-Tool für Sprachassistenten wie Amazon Alexa, Google Assistant oder Microsoft Cortana entwickelt. "Signs", so der Name der Anwendung, erkennt und übersetzt Gebärdensprache in Echtzeit und kommuniziert direkt mit dem Sprachassistenten. Es basiert auf einem Machine Learning Framework. Gebärden werden mit Hilfe einer integrierten Kamera identifiziert und in ein Data-Format konvertiert, das Sprachassistenten verstehen. "Signs" kann mit den gängigen Sprachassistenten verbunden werden und funktioniert auf jedem browserbasierten Betriebssystem mit integrierter Kamera wie Laptops oder Tablets. Die Sprachassistenten verarbeiten die Daten in Echtzeit und können "Signs" direkt antworten. Diese Antworten übersetzt das Tool dann zurück - in Textform oder visuelles Feedback für Menschen mit Hörbehinderung.

Ziel ist, dass "Signs" langfristig als allgemein zugängliche Software und auch für Smartphones zur Verfügung steht und weltweit neue Gebärden und Gebärdensprachen lernen kann.

• Teilen