OpenAI znalazła wadliwe dane w benchmarku dla coding agentów

OpenAI opublikowała audyt SWE-Bench Pro, benchmarku dla agentic coding. Na publicznym splicie obejmującym 731 zadań frontier modele poprawiły pass rate z 23,3 % do 80,3 % w ciągu ośmiu miesięcy. Właśnie dlatego firma sprawdziła, czy benchmark nadal mierzy właściwą rzecz.

SWE-Bench Pro miał być trudniejszy, a audyt znalazł wadliwą jedną trzecią

OpenAI opisuje SWE-Bench Pro jako bardziej realistycznego następcę SWE-bench Verified: dłuższe horyzonty, zadania z publicznych i prywatnych repozytoriów oraz rozwiązania, które muszą przejść nowe testy bez psucia istniejącego działania.

Wynik audytu jest niewygodny. Automatyczna datapoint pipeline oznaczyła 200 zadań, czyli 27,4 %, jako wadliwe. Ludzka anotacja wykonana przez pięciu doświadczonych inżynierów oprogramowania wskazała 249 wadliwych zadań, czyli 34,1 %. OpenAI szacuje więc, że około 30 % zadań SWE-Bench Pro ma poważny problem.

Kupujący coding agentów muszą mierzyć pracę, nie kaprysy datasetu

Dla firm wdrażających Codex, Claude Code albo podobne narzędzia to praktyczny kłopot. Benchmark ma oddzielać realne możliwości agenta od marketingu. Jeśli ukryte testy wymuszają niewypowiedziane szczegóły, albo prompt pomija wymagania sprawdzane przez testy, wynik zaczyna karać poprawne rozwiązania.

OpenAI wymienia cztery główne klasy błędów: zbyt rygorystyczne testy, niedospecyfikowane prompty, niskie pokrycie testów i mylący prompt. To nie są akademickie rysy. To dokładnie te błędy, przez które kupujący może przecenić narzędzie albo odrzucić model przydatny w produkcji.

Agent może audytować test, ale może też nauczyć się złej gry

Druga warstwa to metoda audytu. OpenAI użyła agent-assisted pipeline, Codex-based investigator agents oraz późniejszego ludzkiego review. Agenci nie są już tylko obiektem testu. Stają się też narzędziem do kontroli jakości benchmarków.

To pomaga, ale nie zamyka sprawy. Jeśli branża zbyt mocno oprze się na publicznych leaderboardach, modele i zespoły nauczą się optymalizować pod ich dziwactwa. Trudny benchmark bez higieny audytu to droga gra w tabelkę.

Zaufanie wróci dopiero z poprawionym splitem i śladem zmian

Kolejny sygnał to poprawiony split SWE-Bench Pro, jasno oznaczone wadliwe zadania i powtarzalne metody audytu. Samo ostrzeżenie nie wystarczy, bo kupujący musi wiedzieć, której liczbie może ufać.

W przypadku coding agentów coraz ważniejsza będzie lokalna ewaluacja na własnym repozytorium. Publiczny benchmark może być mapą, ale decyzja zakupowa musi przejść przez prawdziwą codebase firmy.

Werdykt Lilith

Leaderboard to witryna, w której modele lubią błyszczeć. Gdy jedna trzecia etykiet jest źle przyklejona, rozsądny kupujący przynosi własną wagę.