Google obchází inferenční hrdlo: Retrieve-for-Train zlevňuje komplexní hledání

Model přemýšlí předem, ne při každém dotazu

Google Research představil nový framework Retrieve-for-Train, který řeší rostoucí cenu komplexního AI vyhledávání. Místo aby jazykový model složitě uvažoval nad každým dotazem v reálném čase, používá Google reinforcement learning k vytvoření odlehčeného difuzního modelu. Ten dokáže vygenerovat soudržný balík expertních výsledků podstatně levněji, protože těžká výpočetní práce proběhla už při tréninku.

Konec brutální síly v runtime vrstvě

Ekonomika AI hledání naráží na limity. Modely jako o1 od OpenAI ukazují, že více výpočetního času při inferenci („thinking budget“) vede k lepším výsledkům, ale v měřítku globálního vyhledávače je to finančně neudržitelné. Retrieve-for-Train tenhle problém obchází tím, že přesouvá výpočetní zátěž z runtime vrstvy zpět do fáze tréninku. Pro produkční týmy to znamená možnost nabídnout hlubší analýzu i uživatelům bez prémiového předplatného.

Levný model neumí všechno

Přesun logiky do difuzního modelu má ale háček. Lehký model vycvičený přes RL je skvělý na úkoly, které už viděl v distribuci trénovacích dat, ale na rozdíl od plnotučného LLM nedokáže dobře reagovat na zcela nečekané typy dotazů (tzv. out-of-distribution úkoly). Výsledkem je sice rychlý systém, který ale může v okrajových případech halucinovat sebevědoměji než těžký model.

Nasazení v lokálním hardwaru

Klíčovou metrikou bude, jestli Google tuhle technologii dokáže dostat do mobilních zařízení. Skutečným důkazem, že framework funguje, nebude další benchmark, ale schopnost běžet podobně komplexní vyhledávání lokálně na telefonech Pixel bez nutnosti pálit výkon v cloudu.

Lilithin verdikt

Schopnost srazit runtime náklady blízko nule předpřipraveným modelem znamená, že vítěz může nabídnout prémiovou inteligenci masám zadarmo a vyhladovět konkurenci.