Lilith.
⌕
Redakční ilustrace: Google posílá Gemini Decision 1 do rychlých voleb, kde je velký model zbytečně drahý
Ilustrace Lilith · redakční remix

Google vstoupil do kategorie decision modelů s Gemini Decision 1, modelem pro ano či ne, výběr z možností a hodnocení podle rubriky. Podle souhrnu Latent Space přijímá text, obraz, zvuk, video i PDF, zvládne až 1 000 otázek v jednom požadavku a ke každé odpovědi vrací míru jistoty.

Decision 1 boduje možnosti jedním průchodem místo generování dlouhé odpovědi

Model pracuje s uzavřenou sadou odpovědí a může hodnotit až 255 možností. Uváděný kontext má 256K a odezva se pohybuje mezi 150 a 250 ms. Cena činí 0,10 dolaru za milion vstupních tokenů a výstup se neúčtuje.

To mění ekonomiku úloh, kde aplikace nepotřebuje odstavec textu, ale spolehlivou volbu: směrovat ticket, vybrat nástroj, ohodnotit dokument nebo rozhodnout, zda případ předat člověku. Latent Space popisuje také podporu v LangChainu a experiment služby Stitch, která z hrubého promptu vytvoří vícestránkový návrh přibližně za 5 sekund.

Největší úspora vznikne rozdělením agenta na rychlého výhybkáře a drahého diagnostika

Cloudflare na AI Engineer ukázal hybridní vzorec, v němž decision model vybírá nástroj a vytahuje relevantní logy, zatímco velký reasoning model řeší až diagnózu. V předvedeném scénáři podle Latent Space klesl počet LLM volání ze 6 na 1 a objem zhruba ze 40K na 1,8K tokenu.

Pro produktové týmy je to praktičtější rámec než výměna jednoho chatovacího modelu za jiný. Většina agentních toků obsahuje mnoho malých, omezených rozhodnutí a několik málo problémů, které opravdu vyžadují generativní reasoning. Specializovaný model může odstranit náklady i latenci právě z první skupiny.

Nízká cena za token zakrývá horší cenu za hotovou úlohu

Google uvádí cenu přibližně 5krát nižší než Flash-Lite, ale srovnání citované Latent Space je méně pohodlné. Artificial Analysis naměřila Decision 1 skóre 66 na Decision Indexu, shodné s Jev 1.14 a Elephant 9B, zatímco Drex Max v1.1 a GLiDE v1.2 byly o 7 bodů výš.

V jejich přepočtu stál Decision 1 345 dolarů za milion úloh, proti 103 dolarům u Drex Max a 156 dolarům u Jev. Průměrných 211 ms bylo také pomalejších než 92 ms u Jev. Jde o výsledky konkrétního benchmarku, nikoli univerzální pořadí. Ukazují však, proč cena tokenu sama nestačí.

Vlastní chybová matice rozhodne dřív než další veřejný žebříček

Týmy by měly měřit falešná schválení, zbytečná odmítnutí a kalibraci jistoty na vlastních datech. U automatického směrování může levná chyba znamenat jeden přesunutý ticket. U zastavení platby nebo bezpečnostního zásahu může stejná chyba stát mnohem víc než tisíce inference.

Rozhodující bude také chování při změně dat a schopnost přiznat nejistotu. Decision model si zaslouží místo v kritické cestě teprve tehdy, když tým zná cenu jeho omylu a nastaví hranici, za níž přebírá případ člověk nebo silnější model.

Lilithin verdikt

Decision model má stát u výhybky, ne řídit celý vlak. Když levně pošle špatný případ na špatnou kolej, účet za 0,10 dolaru na milion tokenů nikoho neuklidní.