Lilith.
⌕
Ilustracja redakcyjna: SatBench: 63% benchmarków pokonane, lecz niezależne testy dają tylko 24%
Ilustracja Lilith · remiks redakcyjny

SatBench wylicza, że 109 ze 173 często cytowanych benchmarków AI przekroczyło próg 85%. Ten sam zbiór danych daje jednak 24%, gdy uwzględnimy wyłącznie niezależne pomiary. Główna liczba opisuje więc także to, jak często laboratoria oceniają własne modele.

W ciągu roku indeks urósł o 20 punktów procentowych

Ethan Mollick zbudował SatBench na danych projektu Benchmark Almanac. Indeks obejmuje benchmarki cytowane w co najmniej 10 publikacjach premierowych laboratoriów AI, które podają wynik procentowy, gdzie więcej znaczy lepiej. Zadanie uznaje się za rozwiązane, gdy najlepszy zgłoszony wynik osiąga 85%.

W styczniu 2025 roku indeks wynosił 31%, w styczniu 2026 roku 46%, a obecnie 63%. W ciągu ostatnich 12 miesięcy wzrósł zatem o 20 punktów procentowych. Dla benchmarków wydanych w 2025 roku mediana czasu dojścia do progu 85% spadła do około 14 miesięcy, wobec mniej więcej 20 miesięcy dla roczników 2023 i 2024.

Tabele wyników starzeją się szybciej niż decyzje zakupowe

Dla zespołów wybierających model tempo starzenia się benchmarku ma większe znaczenie niż miejsce laboratorium w rankingu. Gdy większość modeli skupia się przy górnej granicy skali, test przestaje je rozróżniać, a dawny wynik niewiele mówi o nowym wdrożeniu.

Laboratoria odpowiadają, wprowadzając trudniejsze testy. W ich aktualnym zestawie roboczym rozwiązanych jest 45% pozycji, ponieważ publikacje premierowe stale dodają nowe zadania agentowe i zadania związane z pracą. Zakup modelu wymaga więc własnych evals opartych na realnych danych, cenie, opóźnieniach i błędach, które naprawdę szkodzą danemu zespołowi.

Próg 85% łączy nieporównywalne sposoby pomiaru

Wynik 63% miesza oficjalne leaderboardy, różne harnessy, tool use oraz deklaracje z publikacji samych laboratoriów. Spośród 100 pierwszych przekroczeń progu 85% aż 75 pochodziło z ogłoszenia producenta, a tylko 10 z tych 75 wyników później powtórzono w niezależnym pomiarze. Przy samych niezależnych testach indeks wynosi 24%.

Rezultat mocno zależy też od definicji. Próg 75% daje wynik 82%, a próg 95% tylko 25%. Nowe benchmarki trafiają do indeksu dopiero po 10 wzmiankach w publikacjach premierowych, dlatego trudne testy z tego roku są reprezentowane słabiej.

Niezależne powtórzenia i testy pracy rozstrzygną spór

Najważniejszym sygnałem będzie wzrost liczby niezależnie powtórzonych wyników, a nie kolejne przekroczenie progu. Jeżeli różnica między 63% a 24% zacznie się zmniejszać, teza o szybkim wyczerpywaniu benchmarków zyska znacznie mocniejsze podstawy.

Warto też śledzić kategorię pracy, gdzie SatBench notuje tylko 18% rozwiązanych pozycji, oraz zadania agentowe z wynikiem 45%. To one pokażą, czy modele rozwijają się również poza testami przypominającymi pytania egzaminacyjne.

Werdykt Lilith

Laboratoria same wystawiły sobie oceny i uznały 63% zadań za zaliczone. Niezależny nauczyciel zaznaczył dotąd 24%, więc uroczystość pożegnania benchmarków może jeszcze poczekać.