Artificial Analysis schowało testy, a luka modeli otwartych urosła z 3 do 12 punktów

Artificial Analysis opublikowało 27 października Intelligence Index v5. Po raz pierwszy większość wagi, czyli 60 %, mają testy z prywatnymi zestawami albo ukrytymi odpowiedziami. Najlepszy model otwarty traci teraz do lidera 12 punktów. W wersji 4.3 były to 3 punkty.

Nowy indeks wyrzucił GDPval-AA i zmierzył modelom otwartym czterokrotnie większą stratę

Firma usunęła z indeksu GDPval-AA v2.1, SciCode i AA-LCR. Dodała FrontierCode 2.0, prywatny benchmark firmy Cognition ze 132 zadaniami z prawdziwych repozytoriów open source, w którym punkt daje tylko zmiana, jaką zaakceptowałby opiekun projektu. Drugą nowością jest Terminal-Bench-Science z 70 zadaniami naukowymi w terminalu. Humanity's Last Exam zastąpiła dopracowana wersja HLE-Diamond z 1000 pytań. Indeks ma cztery równe części po 25 %: pracę z wiedzą, programowanie, naukę i wiedzę ogólną.

Prowadzi Claude Opus 5.5 (max) z wynikiem 58, tuż za nim są GPT-6 Astra z 57 i GPT-6.1 Sol z 55. Pierwszą piątkę zajmują Anthropic i OpenAI, Gemini 4 Argon ma 50. Najlepszy model otwarty, Kimi K3.1 Pro, zdobył 46 punktów, ale jego wagi jeszcze nie trafiły do sieci. Wśród modeli, które naprawdę da się pobrać, prowadzą DeepSeek V4.1 Flash 1017 i GLM-5.3 z wynikiem 32. To 26 punktów mniej niż lider i mniej niż mały, zamknięty Claude Haiku 5.5 z wynikiem 36.

Najgorzej modele otwarte wypadły w Terminal-Bench-Science. GPT-6 Astra rozwiązuje tam 63 % zadań, Kimi K3.1 Pro 34 %, a DeepSeek V4.1 Flash 13 %. Większość pozostałych otwartych modeli nie przekroczyła 10 %. Ethan Mollick napisał na X, że wynik trzeba traktować z przymrużeniem oka, ale zgadza się z ogólnym wrażeniem, że otwarty model klasy Fable jeszcze nie powstał.

Kto liczył na tani otwarty zamiennik, musi przeliczyć koszt zadania

Do niedawna mówiło się, że modele otwarte są za zamkniętą czołówką mniej więcej trzy miesiące. Nathan Lambert przekonywał o tym w wykładzie, o którym pisaliśmy, i powoływał się właśnie na dane Artificial Analysis. Nowy indeks osłabia to pocieszenie: w zadaniach agentowych, gdzie model musi wykonać dziesiątki kroków w terminalu, różnica jest dużo większa niż w testach wiedzy.

Dla firm, które rozważają własny hosting ze względu na koszty, ważniejsza jest inna liczba. GPT-6.1 Sol (max) traci do Opusa 4 punkty i kosztuje 1,27 USD za zadanie indeksu, a Opus 10,04 USD. Tania zamknięta opcja odbiera modelom otwartym ich główny argument cenowy. Otwarte wagi wciąż bronią się tam, gdzie liczy się prywatność danych, praca bez internetu albo własny fine-tuning. Jako tania kopia czołówki w pracy agentowej na razie się nie sprawdzają.

Indeks pokazuje też, że ustawienie wysiłku znaczy więcej niż wcześniej. Opus 5.5 przy niskim wysiłku zdobywa 35 punktów, a przy maksymalnym 58, za dziesięciokrotnie wyższą cenę (0,98 wobec 10,04 USD). Mediana tokenów wyjściowych na zadanie wzrosła z 35 do 59 tysięcy. Kto porównuje modele po cenie za milion tokenów, widzi tylko połowę rachunku.

Lukę mierzy nowa miarka, więc część skoku to efekt metodologii

Zestawienie 3 i 12 punktów porównuje dwie różne miarki. Wersje 4.3 i v5 mają inne testy, inne wagi i inny udział pracy agentowej. Przejście na prywatne zestawy ogranicza też sytuacje, w których model widział publiczne pytania podczas treningu. Jeśli modele otwarte korzystały na tym bardziej niż zamknięte, część wcześniejszej małej luki była złudzeniem. To jednak hipoteza: Artificial Analysis jej nie sprawdzało i nie opublikowało zestawienia tych samych modeli w obu wersjach, które by to pokazało.

Prywatne zestawy mają też drugą stronę. Nikt z zewnątrz nie powtórzy wyników, a cały obraz opiera się na jednej firmie i jej harnessie Stirrup. FrontierCode należy przy tym do Cognition, która sama sprzedaje agenta do programowania. Modele otwarte bywają strojone pod inne środowiska, więc część spadku może wynikać z harnessu, a nie z samych wag.

Rozstrzygną wagi Kimi K3.1 Pro i drugi niezależny pomiar

Pierwszy sprawdzian przyjdzie szybko. Według wcześniejszej zapowiedzi Moonshot ma opublikować pełne wagi Kimi K3.1 Pro do 4 listopada. Wtedy okaże się, czy najlepszy model otwarty utrzyma 46 punktów w innych rękach i czy luka do czołówki faktycznie ustabilizuje się w okolicach 12 punktów.

Drugim sygnałem będzie to, czy podobny spadek zmierzy ktoś inny, na przykład Epoch AI, na którego pracy Artificial Analysis oparło nowy Progress Index. Jeśli kolejny DeepSeek albo GLM wyciągnie Terminal-Bench-Science z jednocyfrowych wyników, dyskusja wróci do miesięcy. Jeśli nie, firmy będą kupować modele otwarte dla kontroli nad danymi, a nie dla wydajności.

Werdykt Lilith

Artificial Analysis zamknęło egzamin w sejfie i z dnia na dzień dystans modeli otwartych do prymusa wzrósł czterokrotnie. Dopóki ktoś inny nie wyjdzie z własnym zestawem pytań, nie wiemy, czy uczniowie się pogorszyli, czy wcześniej po prostu znali pytania.