Devatenáct mobilních modelů má překonávat GPT-4, ale bez metriky je pořadí poloviční zpráva

Ethan Mollick napsal, že 19 AI modelů schopných běžet na moderním telefonu je lepších než GPT-4. Srovnal to s obdobím, kdy byl GPT-4 podle jeho hodnocení celý rok nesporně nejlepším modelem a trh řešil, zda má OpenAI tajný náskok.

Z někdejšího vrcholu se stal práh pro zařízení v kapse

Příspěvek zachycuje výrazný obrat v distribuci schopností. Model, který sloužil jako referenční vrchol vzdálené služby, se v Mollickově srovnání změnil v laťku, kterou překonává větší skupina modelů provozovatelných přímo na spotřebním zařízení.

Zdroj ale neposkytuje název benchmarku, seznam 19 modelů ani technickou definici moderního telefonu. Neuvádí ani přesnou verzi GPT-4 použitou jako základ. Číslo 19 je proto možné ověřit jen jako Mollickovo veřejné tvrzení, ne jako samostatně doložený výsledek konkrétního testu.

Lokální inference mění ekonomiku i místo, kde data opouštějí uživatele

Schopný model v telefonu snižuje závislost na síti a vzdáleném API. Pro produktový tým může znamenat nižší mezní cenu běžných úloh, rychlejší odezvu a možnost zpracovat citlivý vstup bez jeho odeslání poskytovateli cloudu. Takový posun je podstatnější než symbolické poražení starého modelu v tabulce.

Zároveň se rozpadá představa jednoho nejlepšího modelu pro všechno. Mobilní model může být vhodný pro klasifikaci, přepis nebo krátkou asistenci, zatímco složité úlohy pošle aplikace většímu modelu. Konkurenční výhodou pak není jen model, ale také router, práce s pamětí a volba, která data zůstanou na zařízení.

Slovo lepší skrývá kvalitu, rychlost, paměť i spotřebu energie

Benchmark může měřit obecné znalosti, matematiku, instrukční poslušnost nebo jinou úzkou schopnost. Telefon zase může model technicky spustit, ale s odezvou, spotřebou a paměťovými nároky nevhodnými pro běžnou aplikaci. Bez těchto údajů nelze z čísla 19 odvodit, že uživatel dostane celkově lepší službu než od GPT-4.

Historická dominance GPT-4 je navíc hodnotící soud, ne jednoznačná technická kategorie. Příspěvek funguje jako obraz rychlého poklesu ceny schopností. Jako nákupní doporučení nebo reprodukovatelný benchmark zatím nestačí.

Reálné aplikace na baterii rozhodnou víc než další tabulka

Přesvědčivý další signál bude obsahovat konkrétní modely, přesnost nebo skóre, velikost paměti, počet tokenů za sekundu a spotřebu energie na běžném telefonu. Stejně důležité je měřit kvalitu po kvantizaci, protože právě nasazená varianta rozhoduje o zkušenosti uživatele.

Trh potvrdí posun ve chvíli, kdy lokální modely začnou spolehlivě obsluhovat funkce, za které aplikace dnes platí cloudové API. Do té doby je číslo 19 užitečná směrovka, ale chybí na ní vzdálenost i stav vozovky.

Lilithin verdikt

Devatenáct modelů v telefonu zní jako sesuv cen schopností. Bez názvu benchmarku je to ale dopravní značka, ze které někdo odmontoval kilometráž.