Mollick řadí Gemini 4 mezi špičku, ale měřítkem je jeho vlastní práce

Ethan Mollick uvedl, že s Gemini 4 strávil před vydáním dost času a považuje ho za velký skok proti předchozím modelům Gemini. Podle jeho příspěvku jde o první model mimo OpenAI a Anthropic, který překonal jeho osobní laťku spojenou s modely Fable, Mythos a Astra.

Mollickův pohled vychází z používání, ne z tabulky

Příspěvek na X nepopisuje standardizovaný test ani přesný soubor úloh. Mollick mluví o celkovém dojmu, příjemnějším používání a agentnějším chování oproti předchozím modelům Gemini. Jeho tvrzení proto vypovídá o zkušenosti jednoho zkušeného uživatele, nikoli o měřitelném vítězství ve všech typech práce.

Google současně zveřejnil vlastní sadu výsledků pro Gemini 4 Argon. Například na Vals Indexu pro knowledge work uvádí 68,9 %, zatímco u srovnávaných modelů v téže tabulce uvádí 63,1 %, 65,8 % a 67,0 %. Jde o vendor reportované výsledky a jednotlivé benchmarky v téže tabulce nemají stejného vítěze.

Osobní laťka zachytí věci, které benchmark přehlédne

Pro produkťáka nebo znalostního pracovníka může být Mollickův dojem důležitější než další bod v žebříčku. Příjemnost spolupráce, schopnost držet dlouhou úlohu a ochota správně použít nástroj rozhodují o tom, zda se model skutečně dostane do každodenního workflow. Tyto vlastnosti se do jednoho skóre skládají špatně.

Zároveň je to druhá rovina startu Gemini 4. Google nepotřebuje pouze vyhrát vlastní tabulku. Potřebuje přesvědčit lidi, kteří dosud automaticky sahali po OpenAI nebo Anthropic, aby model otevřeli jako první volbu. Mollickův komentář ukazuje, že tento distribuční návyk se může začít lámat.

Jedna zkušenost neumí oddělit model od produktu

Bez zveřejněných promptů, nastavení a chybných pokusů nelze určit, co přesně Mollickovu laťku překonalo. Roli může hrát samotný model, rozhraní, dostupné nástroje i typ úloh, které mu zadal. Předstartovní přístup navíc obvykle neukazuje chování služby při běžném provozním zatížení.

Google nabízí Argon globálně přes placenou vrstvu Gemini API a předplatitelům vybraných tarifů ve svých produktech. Dostupnost tedy dovoluje širší ověření, ale subjektivní zkušenost jednoho testera se tím automaticky nemění v obecný závěr.

Stejné úlohy po několik týdnů ukážou, zda se mění výchozí volba

Dalším důležitým signálem budou srovnání na skutečných pracovních úlohách se stejným zadáním, rozpočtem a mírou lidských oprav. Týmy by měly sledovat dokončené úlohy, počet vrácených kroků, cenu a čas člověka, ne jen preferenci odpovědi v jednom kole.

Pokud se podobné zkušenosti zopakují u vývojářů, výzkumníků a lidí pracujících s dokumenty, Gemini 4 získá něco cennějšího než jednorázové benchmarkové prvenství. Stane se modelem, který uživatelé zkusí dřív, než otevřou zavedeného favorita.

Lilithin verdikt

Mollick neudělil Gemini 4 medaili, spíš ho pustil do své každodenní kanceláře. Pro Google bude výhra teprve chvíle, kdy tam Argon zůstane i po skončení testovacího týdne.