Was bedeutet das für die Übersetzung von Gebärdensprachen?

Das Unternehmen SignAll will die maschinelle Übersetzung von ASL ermöglichen

Dass es viele Texte auf dieser Welt gibt, die regelmäßig in die unterschiedlichsten Sprachen übersetzt werden müssen, sollte uns allen klar sein. Doch nicht alle denken darüber nach, dass es auch hilfreich wäre, Gebärdensprachen ohne Dolmetscher übersetzen zu können. SignAll hat dieses Problem erkannt und sich ihm angenommen. Das Unternehmen kommt ursprünglich aus Budapest, arbeitet mittlerweile aber auch in den USA.

Gute Übersetzungen von Maschinen erstellen zu lassen ist überaus schwierig – und umso komplexer, wenn eine Sprache auf Gestik und Mimik beruht, statt auf geschriebenen oder gesprochenen Wörtern. Trotz aller Schwierigkeiten hat SignAll es sich zur Aufgabe gemacht, die amerikanische Gebärdensprache (ASL, American Sign Language) durch maschinelle Übersetzung verständlich zu machen. Dies kann nicht nur die Kommunikation zwischen Menschen fördern, sondern könnte zum Beispiel auch von Entwicklern von Tech Gadgets verwendet werden: Smartphones, Smart TVs, oder Geräte wie Amazons Alexa könnten so auch für stumme Benutzer viel umfassender nutzbar gemacht werden. Viele Menschen können Alexa eben nicht sagen, was sie im Internet bestellen soll, aber es wäre nur fair, wenn sie diesen Geräten ihre Wünsche bald auch signalisieren könnten.

2nd. gen black Amazon Echo speaker on white panel
Photo by Jan Kolar / Unsplash

Zuerst gilt es also Daten zu sammeln. SignAll muss so viele Wörter und Sätze wie möglich aufnehmen und analysieren um den Computer mit diesen Informationen zu füttern. SignAll muss es dafür schaffen, dass Kameras alle Bewegungen der oberen Körperhälfte von Menschen erfassen und kleine Unterschiede in Mimik und Gestik erkennen können. Vor allem aufgrund der vielen verschiedenen Fingerbewegungen reicht es nicht, nur eine frontale Kameraaufnahme zu benutzen – SignAll hat auch rechts und links von der Person jeweils eine Kamera positioniert.

Eine weitere Schwierigkeit ist der Mangel an Pausen in der Gebärdensprache. Für Laien ist es schwer zu erkennen, wann ein Zeichen oder ein Satz überhaupt endet – für Kameras auch. Zudem ist die Struktur von Gebärdensprachen immer anders als die Struktur der gesprochenen Sprache des Landes. So würde man in der deutschen Gebärdensprache (DGS) nicht sagen “Ich kann nicht Auto fahren”, sondern “Ich – autofahren – können – nicht”. Die gezeigten Wörter müssen also nicht nur in die gesprochene oder geschriebene Form übertragen werden, sondern bestenfalls auch noch in die grammatikalische Reihenfolge gebracht werden, die in der mündlichen bzw. schriftlichen Landessprache genutzt wird.

Technisch sind wir mittlerweile zwar so weit, dass Kameras in einem gewissen Maße intelligent sind und wissen was sie sehen, doch Feinheiten zu unterscheiden ist für sie immer noch schwierig. Kameras wie Google Clips können unter anderem ihnen bekannte Tiere und Menschen und unterschiedliche Aktivitäten erkennen, wie zum Beispiel “Hund auf Sofa”. Dies ermöglicht vor allem eine praktische Überwachung möglicher Fremdlinge im Haushalt, aber Google Clips erkannte so auch schon fälschlicherweise einen Luftballon als Einbrecher. Ja, die Technik ist weit, aber noch unterlaufen ihr viele – teils unterhaltsame – Fehler.

man holding red balloon
Photo by Mean Shadows / Unsplash

Das Pilotprojekt von SignAll wird an der Gallaudet University in Washington, D.C. gestartet. Dies ist weltweit die einzige Universität der Künste, die sich auf hörbehinderte Studierende spezialisiert. Das Projekt ist technisch natürlich komplex, der angestrebte Ablauf aber simpel. Besucher, die ASL nicht beherrschen, sollen in Zukunft problemlos mit dem Personal der Uni sprechen können. Um dies zu ermöglichen, wird im Welcome Center der Universität eine Übersetzungskabine von SignAll aufgestellt, sodass die in ASL ausgedrückten Sätze für die Besucher in Textform übertragen werden können und dann von diesen einfach nur von einem Bildschirm abgelesen werden müssen. Alternativ ist es auch möglich den Text von einer Computerstimme vorlesen zu lassen. Alle Aussagen der Besucher werden für das Unipersonal ebenfalls in Form von Text angezeigt. Dies ist dank Spracherkennung ja schon länger – mehr oder weniger erfolgreich – möglich. Technisch ist dieser Übersetzungsablauf zwar hoch kompliziert, aber wenn das Projekt funktioniert, ist es dafür in der Anwendung umso einfacher, denn beide Gesprächspartner können dann genauso kommunizieren wie sie es sonst auch tun.

Wenn die Idee von SignAll erst einmal umgesetzt ist und die Übersetzung von ASL reibungslos läuft, hilft das aber wirklich nur den Verwendern dieser spezifischen Gebärdensprache. Weltweit gibt es etwa 200 verschiedene offizielle Gebärdensprachen, die sich größtenteils nicht ähneln. Am besten verständigen können sich interessanterweise Amerikaner und Franzosen – Amerikaner und Briten hingegen haben nicht wirklich eine Chance auf ein gelungenes Gespräch. Natürlich bemühte man sich in der Vergangenheit schon um eine weltweit einheitliche Gebärdensprache, aber die Idee hat verständlicherweise ähnlich wenig Begeisterung entfacht wie die Kunstsprache Esperanto. Sobald SignAll in den USA aber funktioniert, steht fest, dass diese Entwicklung auch für alle anderen Gebärdensprachen nutzbar ist – man muss nur wieder Daten sammeln, und schon kann’s losgehen.

Die Mission von SignAll ist offensichtlich wichtig und die Umsetzung bisher glücklicherweise vielversprechend. Ihre Idee hat dem Team auch zu recht schon einige Preise eingebracht.

Mehr Erklärungen zur Arbeit von SignAll gibt es auf YouTube.