Artificial Analysis schovala testy a mezera otevřených modelů skočila ze 3 na 12 bodů

Artificial Analysis 27. října vydala Intelligence Index v5. Poprvé v něm většinu váhy, konkrétně 60 %, nesou testy se soukromými sadami nebo skrytými odpověďmi. Nejlepší otevřený model teď za lídrem zaostává o 12 bodů. Ve verzi 4.3 to byly 3 body.

Nový index vyhodil GDPval-AA a otevřeným modelům naměřil čtyřikrát větší ztrátu

Firma z indexu vyřadila GDPval-AA v2.1, SciCode a AA-LCR. Nově přidala FrontierCode 2.0, soukromý benchmark firmy Cognition se 132 úlohami ze skutečných open source repozitářů, kde se boduje jen změna, kterou by správce repozitáře přijal. Druhou novinkou je Terminal-Bench-Science se 70 vědeckými úlohami v terminálu. Humanity's Last Exam nahradila zpřesněná verze HLE-Diamond s 1 000 otázkami. Index má čtyři stejně těžké části po 25 %: znalostní práci, kódování, vědu a obecné znalosti.

Na špici je Claude Opus 5.5 (max) s 58 body, těsně za ním GPT-6 Astra s 57 a GPT-6.1 Sol s 55. Prvních pět míst drží Anthropic a OpenAI, Gemini 4 Argon má 50. Nejlepší otevřený model Kimi K3.1 Pro získal 46 bodů, jeho váhy ale zatím nejsou venku. Z modelů, které si lze opravdu stáhnout, vedou DeepSeek V4.1 Flash 1017 a GLM-5.3 s 32 body. To je o 26 bodů méně než lídr a méně než uzavřený malý Claude Haiku 5.5 s 36 body.

Nejhůř otevřené modely dopadly v Terminal-Bench-Science. GPT-6 Astra tam vyřeší 63 % úloh, Kimi K3.1 Pro 34 % a DeepSeek V4.1 Flash 13 %. Většina ostatních otevřených modelů zůstala pod 10 %. Ethan Mollick výsledek na X komentoval slovy, že ho čtenáři mají brát s rezervou, odpovídá ale obecnému dojmu, že otevřený model třídy Fable zatím nevznikl.

Kdo počítal s levnou otevřenou náhradou, musí přepočítat cenu za úlohu

Ještě nedávno platilo, že otevřené modely jsou za uzavřenou špičkou zhruba o tři měsíce. Nathan Lambert to v přednášce, o které jsme psali, opíral právě o data Artificial Analysis. Nový index tuhle útěchu oslabuje: v agentních úlohách, kde model musí desítky kroků pracovat v terminálu, je rozdíl mnohem větší než v testech znalostí.

Pro firmy, které zvažují přechod na vlastní hosting kvůli ceně, je důležitější jiné číslo. GPT-6.1 Sol (max) zaostává za Opusem o 4 body a stojí 1,27 USD za úlohu indexu, zatímco Opus 10,04 USD. Levná uzavřená varianta tak bere otevřeným modelům jejich hlavní cenový argument. Otevřené váhy si dál obhájí tam, kde rozhoduje soukromí dat, provoz bez internetu nebo vlastní dotrénování. Jako levná kopie špičky v agentní práci zatím neobstojí.

Index zároveň ukazuje, že nastavení úsilí rozhoduje víc než dřív. Opus 5.5 má na nízké úsilí 35 bodů a na maximální 58, za desetinásobnou cenu (0,98 proti 10,04 USD). Medián výstupních tokenů na úlohu vzrostl z 35 tisíc na 59 tisíc. Kdo porovnává modely podle ceníku za milion tokenů, vidí jen půlku účtu.

Mezeru měří nový metr, takže kus skoku vyrobila metodika

Srovnání 3 a 12 bodů porovnává dvě různá pravítka. Verze 4.3 a v5 mají jiné testy, jiné váhy a jinou míru agentní práce. Přesun k soukromým sadám navíc omezuje situaci, kdy model viděl veřejné otázky při tréninku. Pokud z toho těžily otevřené modely víc než uzavřené, část dřívější malé mezery byla iluze. To je ale hypotéza: Artificial Analysis ji neověřovala a nezveřejnila výsledky stejných modelů na obou verzích vedle sebe v rozpadu, který by to ukázal.

Soukromé sady mají i druhou stranu. Nikdo zvenku nemůže výsledky zopakovat a celý obraz stojí na jedné firmě a jejím harnessu Stirrup. FrontierCode navíc patří Cognition, která sama prodává coding agenta. Otevřené modely bývají laděné na jiné prostředí, takže část propadu může jít i na vrub harnessu, ne samotných vah.

Rozhodnou váhy Kimi K3.1 Pro a druhé nezávislé měření

První test přijde brzy. Moonshot podle dřívějšího oznámení slíbila zveřejnit plné váhy Kimi K3.1 Pro do 4. listopadu. Pak se ukáže, jestli nejlepší otevřený model drží 46 bodů i v rukou ostatních a jestli se mezera ke špičce opravdu ustálí kolem 12 bodů.

Druhým signálem bude, zda podobný propad naměří někdo jiný, například Epoch AI, na jejíž práci Artificial Analysis navazuje u nového Progress Indexu. Pokud další DeepSeek nebo GLM vytáhne Terminal-Bench-Science z jednociferných čísel, debata se vrátí k měsícům. Pokud ne, budou firmy otevřené modely kupovat kvůli kontrole nad daty, ne kvůli výkonu.

Lilithin verdikt

Artificial Analysis zavřela zkoušku do trezoru a odstup otevřených modelů od premianta se přes noc zčtyřnásobil. Dokud si nikdo jiný neodnese vlastní sadu otázek, nevíme, jestli se studenti zhoršili, nebo dřív jen znali zadání.