2026-11-18 · ← Novinky
Agenti dokončí 46 % výzkumných úloh, ale při stavbě infrastruktury klopýtají
OpenAI uvádí, že coding agents bez zásahu dokončili 46 % interních úloh odhadovaných na 2 až 4 hodiny lidské práce, oproti 23 % v březnu. Výsledek však prudce závisí na typu práce a pochází z interního měření firmy.
Obrázek se nepodařilo načíst.
OpenAI zveřejnila druhou sadu interních měření, podle nichž coding agents bez lidského zásahu dokončí 46 % výzkumných úloh odhadovaných na 2 až 4 hodiny práce. Ještě v březnu to bylo 23 %. Číslo vypadá silně, ale zpráva současně ukazuje velmi nerovnou hranici schopností.
U několikahodinových úloh se úspěšnost za sedm měsíců zdvojnásobila
U úloh odhadovaných na 4 až 8 hodin vzrostla úspěšnost bez zásahu z 13 % na 35 %. Průměrný počet agentních pracovních dnů na jednoho výzkumníka a den stoupl z 0,5 na 5,7. OpenAI počítá jeden takový den jako 8 hodin běhu agenta.
Nasazení je drahé i intenzivní. Medián denní spotřeby na výzkumníka dosáhl v říjnu podle ceníkových API cen 2 400 USD, o 62 % více než v září. Více než dvě třetiny sledovaných výzkumníků měly v polovině října denní špičku alespoň 4 souběžně pracujících agentů.
Monitoring roste rychleji než práce, která může rozbít systém
Rozdíly mezi úlohami jsou větší než souhrnný průměr. Agenti uspěli bez zásahu u 79 % úloh spojených s monitoringem tréninkových běhů a u 72 % technických dotazů. Při spouštění tréninkových běhů dosáhli 35 %, při stavbě evaluačních a reinforcement learning prostředí 29 % a při psaní kódu pro inference a serving infrastrukturu jen 25 %.
Pro vedoucí výzkumu z toho plyne praktická mapa delegování. Agent může levněji procházet logy, hledat odchylky a připravovat analýzy. U změn, které utrácejí compute nebo zasahují produkční infrastrukturu, zůstává kontrola člověka drahá, ale rozumná.
Firma měří vlastní produkt na práci vlastních lidí
Výsledky nejsou nezávislým benchmarkem. OpenAI měří vlastní výzkumníky, interní modely a workflow, které se během sledovaného období měnily. Sama upozorňuje, že lidé mohli v každém časovém pásmu delegovat jiné typy úloh, takže růst míchá lepší modely se zkušenějším používáním.
Více změněných řádků kódu nebo více spuštěných experimentů také automaticky neznamená lepší výzkum. Rozhovory ve zprávě popisují nekvalitní pull requesty, zbytečné kroky a chybné analytické předpoklady. Lidé podle autorů stále určují priority a posuzují, které nápady stojí za další práci.
Rozhodne výstup výzkumu, ne počet běžících oken
OpenAI chce dál sledovat rozdíl mezi zrychlením schopností a bezpečnostního výzkumu. Užitečný bude hlavně vztah mezi agentní spotřebou, dobou vývoje a kvalitou nových modelů, nikoli samotný runtime.
Dalším signálem budou srovnatelná měření od jiných laboratoří a metodika, která oddělí lepší schopnost agenta od lepšího výběru úloh. Teprve pak půjde poznat, zda 5,7 agentního dne skutečně zkracuje cestu k výsledku, nebo jen zaplňuje více obrazovek.
Lilithin verdikt
Výzkumník má na stole 5,7 dne agentní práce za jediný den, ale u inference kódu uspěje agent jen ve čtvrtině případů. Továrna už běží rychleji, její nejcitlivější páky však stále drží člověk.