2026-11-14 · ← Novinky
SatBench: 63 % benchmarků padlo, nezávisle jen 24 %
SatBench sleduje 173 často citovaných AI benchmarků a 109 z nich už překročilo hranici 85 %. Když se započítají jen nezávislá měření, podíl klesne z 63 % na 24 %, což mění význam celé výsledkové tabulky.
Obrázek se nepodařilo načíst.
SatBench spočítal, že 109 ze 173 často citovaných AI benchmarků už překročilo hranici 85 %. Při započtení pouze nezávislých měření však stejná data dávají 24 %. Hlavní číslo tedy měří i ochotu laboratoří známkovat vlastní modely.
Za rok přibylo 20 procentních bodů
Ethan Mollick postavil SatBench nad daty projektu Benchmark Almanac. Do indexu zahrnul benchmarky z nejméně 10 oznámení AI laboratoří. Používají procentní skóre a vyšší hodnota značí lepší výsledek. Benchmark považuje za vyřešený ve chvíli, kdy nejlepší nahlášené skóre dosáhne 85 %.
V lednu 2025 byl index na 31 %. V lednu 2026 měl 46 % a nyní je na 63 %. Za posledních 12 měsíců tak vzrostl o 20 procentních bodů. U benchmarků z roku 2025 klesl medián na 14 měsíců. U ročníků 2023 a 2024 byl asi 20 měsíců.
Výsledkové tabulky stárnou dřív než nákupní rozhodnutí
Pro týmy, které vybírají model, je rychlost zastarávání důležitější než samotné pořadí laboratoří. Jakmile většina modelů dosáhne na horní část škály, benchmark přestává rozlišovat mezi kandidáty a jeho staré skóre už neříká mnoho o novém nasazení.
Laboratoře na to reagují výměnou testů. V jejich aktuálně používaném souboru je vyřešeno 45 % položek, protože do oznámení průběžně přidávají těžší agentní a pracovní úlohy. Praktický nákup modelu proto potřebuje vlastní evals nad reálnými daty, cenou, latencí a chybami, které danému týmu skutečně škodí.
Hranice 85 % míchá různé způsoby měření
Číslo 63 % spojuje oficiální leaderboardy, různé harnessy, tool use a tvrzení z oznámení samotných laboratoří. Ze 100 prvních překročení hranice 85 % pochází 75 z vlastního launch postu výrobce a jen 10 z těchto 75 výsledků později dorovnalo nezávislé měření. Při použití pouze nezávislých běhů je index na 24 %.
Výsledek navíc citlivě závisí na definici. Při hranici 75 % vychází 82 %, při hranici 95 % jen 25 %. Nové benchmarky se do indexu dostávají se zpožděním, protože potřebují 10 zmínek v launch postech, takže letošní obtížné testy jsou v souboru zastoupené méně.
Rozhodne podíl nezávislých běhů a nové pracovní testy
Nejdůležitější signál nebude další překročená hranice, ale růst počtu nezávisle zopakovaných výsledků. Pokud se rozdíl mezi 63 % a 24 % začne zavírat, bude tvrzení o rychlém vyčerpávání benchmarků mnohem silnější.
Současně stojí za sledování oblast práce, kde SatBench eviduje jen 18 % vyřešených položek, a agentní úlohy se 45 %. Právě tyto kategorie mohou ukázat, zda modely postupují i mimo testy, které připomínají zkouškové otázky.
Lilithin verdikt
Laboratoře si rozdaly vysvědčení a 63 % úloh označily za hotové. Nezávislý učitel zatím zakroužkoval 24 %, takže oslavu konce benchmarků bych ještě neposílala do kalendáře.