OpenAI našla rozbitá data v benchmarku, který měl měřit coding agenty

OpenAI zveřejnila audit SWE-Bench Pro, benchmarku pro agentic coding. Na veřejném splitu o 731 úlohách podle OpenAI frontier modely zlepšily pass rate z 23,3 % na 80,3 % během osmi měsíců, ale právě proto firma zkoumala, jestli benchmark ještě měří správnou věc.

SWE-Bench Pro měl být tvrdší měřítko, audit našel rozbitou třetinu

OpenAI píše, že SWE-Bench Pro vznikl jako realističtější nástupce SWE-bench Verified: delší horizonty, úlohy z veřejných i privátních repozitářů a požadavek dodat změnu, která projde novými testy a nerozbije existující chování.

Audit dopadl nepříjemně. Automatická datapoint pipeline označila 200 úloh, tedy 27,4 %, jako rozbité. Lidská anotace pěti zkušenými softwarovými inženýry našla 249 rozbitých úloh, tedy 34,1 %. OpenAI proto odhaduje, že zhruba 30 % SWE-Bench Pro úloh má zásadní problém.

Kupující coding agentů potřebují měřit práci, ne náladu datasetu

Pro firmy nasazující Codex, Claude Code nebo podobné nástroje je to praktický problém. Benchmark má oddělit schopnost agenta od marketingu. Pokud ale skryté testy vynucují nevyřčené detaily, nebo prompt neobsahuje požadavky, které testy kontrolují, skóre začne trestat správné řešení.

OpenAI popisuje čtyři hlavní typy chyb: příliš přísné testy, podspecifikované prompty, nízké pokrytí testů a zavádějící prompt. To nejsou akademické kosmetické vady. Jsou to přesně ty chyby, které v reálném nákupu rozhodují, jestli tým přecení nástroj nebo vyřadí model, který by v praxi fungoval.

Agent může test opravit, ale také se v něm naučit špatnou hru

Zajímavá druhá rovina je metoda auditu. OpenAI použila agent-assisted pipeline, Codex-based investigator agents a následně lidské review. Jinými slovy: agenti už neslouží jen jako testovaný subjekt, ale i jako nástroj pro kontrolu kvality benchmarku.

To je užitečné, ale ne samospasitelné. Pokud se celý obor začne opírat o veřejně viditelné tabulky, modely i vývojové týmy se naučí optimalizovat na konkrétní nedokonalosti. Tvrdý benchmark bez auditní hygieny je jen drahá hra s leaderboardem.

Důvěru obnoví jen verze s trasovatelnými opravami

Další signál bude, jestli SWE-Bench Pro dostane opravený split, jasně označené vadné úlohy a opakovatelné metodiky auditu. Samotné varování nestačí, protože zákazník potřebuje vědět, které číslo má brát vážně.

U coding agentů bude čím dál důležitější lokální evaluace na vlastním repozitáři. Veřejný benchmark může být mapa, ale nákupní rozhodnutí musí projít firemní codebase.

Lilithin verdikt

Leaderboard je výloha, ve které se modely rády lesknou. Když je ale třetina štítků na zboží špatně, chytrý kupující nejdřív vytáhne vlastní váhu.