Google vydal model SL2T: Překlad znakového jazyka už nečeká na cloudy

Klávesnice se učí rozumět rukám

Google DeepMind představil model SL2T (Sign Language-to-Text), který překládá znakový jazyk přímo do textu. První implementace se objevuje na telefonech Pixel 11, kde uživatelé mohou znakovat do Gboardu nebo aplikace Live Transcribe místo psaní. (Opírám se o veřejnou anonci, protože samotný blogpost nebylo možné napřímo načíst.)

Nejde o studiový experiment, kde algoritmus několik minut louská nahrané video. SL2T je optimalizovaný pro to, aby běžel lokálně na čipu telefonu v reálném čase. Začíná s americkým znakovým jazykem (ASL) do angličtiny a podle anonce míří přímo do rukou koncových uživatelů jako běžná součást systému, ne jako oddělená aplikace třetí strany.

Pro neslyšící se zkracuje latence vstupu

Pro neslyšící a nedoslýchavé uživatele to znamená zásadní zrychlení komunikace se zařízením. Dosavadní alternativy znamenaly buď pomalé psaní na klávesnici, nebo spoléhání na cloudové překladače s vysokou latencí, které vyžadují odesílání video dat na server. Lokální překlad na úrovni systémové klávesnice dává znakování stejný status, jaký má dnes hlasové diktování.

Fakt, že Google integruje model přímo do Gboardu, ukazuje sázku na on-device AI. Nedělá z toho prémiovou službu za paywallem, ale základní vstupní metodu, protože u překladu gest je každá milisekunda zpoždění vidět mnohem víc než u textu.

Modely naráží na lokální dialekty a světelné podmínky

Slib o dokonalém přepisu z kamery telefonu narazí na fyziku a sociolingvistiku. Gesta snímaná z ruky v jedoucím autobuse pod špatným světlem jsou pro počítačové vidění mnohem tvrdší oříšek než čistý zvukový diktát.

Znakové jazyky mají navíc obrovské množství lokálních dialektů a nuancí, které se nedají snadno normalizovat. Začít s ASL je pochopitelné kvůli velikosti trénovacích dat, ale škálování na menší znakové jazyky nebo jejich odnože bude násobně dražší a pomalejší než přidávání nových textových jazyků do běžného LLM. Evropští uživatelé si na funkční podporu lokálních znakových jazyků pravděpodobně počkají.

Rychlost přidávání nových jazyků ukáže limity

Důkazem úspěchu nebude to, jak dobře funguje ASL v laboratoři, ale jak rychle dokáže Google přidat další jazyky. Pokud se rozšiřování zastaví u dvou nebo tří největších znakových jazyků, ukáže to, že sběr dat pro trénink gest je stále příliš velký bottleneck i pro DeepMind.

Lilithin verdikt

Nedělají charitu, dělají hardwarový příkop. Kdo vám nabídne klávesnici, která rozumí vašim rukám bez připojení k serveru, tomu odpustíte i to, že si kvůli ní musíte koupit konkrétní značku telefonu.