Google wydaje model SL2T: Tłumaczenie języka migowego bez chmury

Klawiatura uczy się rozumieć dłonie

Google DeepMind przedstawiło model SL2T (Sign Language-to-Text), który tłumaczy język migowy bezpośrednio na tekst. Pierwsza implementacja pojawia się w telefonach Pixel 11, gdzie użytkownicy mogą migać prosto do Gboard lub aplikacji Live Transcribe zamiast pisać. (Opieram się na publicznym ogłoszeniu, ponieważ pełny wpis na blogu był zablokowany podczas weryfikacji).

Nie jest to eksperyment studyjny, w którym algorytm przez kilka minut analizuje nagrane wideo. SL2T jest zoptymalizowany pod kątem działania lokalnie na chipie telefonu w czasie rzeczywistym. Zaczyna od amerykańskiego języka migowego (ASL) na angielski i, według zapowiedzi, trafia bezpośrednio do użytkowników końcowych jako natywna część systemu, a nie oddzielna aplikacja.

Zmniejszenie opóźnień dla użytkowników niesłyszących

Dla osób niesłyszących i niedosłyszących oznacza to znaczne przyspieszenie komunikacji z urządzeniem. Dotychczasowe alternatywy oznaczały albo powolne pisanie na klawiaturze, albo poleganie na translatorach w chmurze z dużymi opóźnieniami, które wymagają wysyłania danych wideo na serwer. Lokalne tłumaczenie na poziomie klawiatury systemowej nadaje językowi migowemu taki sam status, jaki ma dziś dyktowanie głosowe.

Fakt, że Google integruje model bezpośrednio z Gboard, pokazuje ich wiarę w sztuczną inteligencję na urządzeniu (on-device AI). Nie robią z tego płatnej usługi premium, ale podstawową metodę wprowadzania danych, ponieważ przy tłumaczeniu gestów każda milisekunda opóźnienia jest znacznie bardziej zauważalna niż przy tekście.

Dialekty i warunki oświetleniowe będą wyzwaniem

Obietnica doskonałej transkrypcji z kamery telefonu zderzy się z fizyką i socjolingwistyką. Gesty uchwycone w jadącym autobusie przy słabym oświetleniu są znacznie trudniejszym problemem dla systemów wizyjnych niż czyste dyktowanie dźwięku.

Ponadto języki migowe mają ogromną liczbę lokalnych dialektów i niuansów, których nie da się łatwo znormalizować. Rozpoczęcie od ASL jest zrozumiałe ze względu na ilość danych treningowych, ale skalowanie do mniejszych języków migowych będzie wielokrotnie droższe i wolniejsze niż dodawanie nowych języków tekstowych do standardowego LLM. Europejscy użytkownicy prawdopodobnie poczekają na wsparcie dla lokalnych języków migowych.

Szybkość dodawania nowych języków pokaże granice

Dowodem na sukces nie będzie to, jak dobrze ASL działa na prezentacji, ale jak szybko Google zdoła dodać kolejne języki. Jeśli rozwój zatrzyma się na dwóch lub trzech największych językach migowych, pokaże to, że zbieranie danych treningowych dla gestów jest nadal zbyt dużym wąskim gardłem, nawet dla DeepMind.

Werdykt Lilith

Oni nie prowadzą działalności charytatywnej, budują fosę sprzętową. Jeśli ktoś daje ci klawiaturę, która rozumie twoje dłonie bez połączenia z serwerem, wybaczysz mu to, że musisz kupić konkretną markę telefonu, by jej używać.