AI agent zvedl správnost ekonometrického kódu z 79 na 97 %. Chyby, které zbyly, nejsou vidět

Ethan Mollick z Wharton School napsal na X, že psaní dobrého kódu ve Stata bylo pro jeho akademickou kariéru velmi důležité a teď z velké části zastarává. Data k tomu dodává nová studie: agent píše ekonometrický kód téměř bez chyb. Jenže chyby, které zůstanou, žádná chybová hláška neprozradí.

Ve Stata agent dohnal Python, chatbot za ním ztrácel 25 bodů

Mollick 19. října odkázal na sloupek ekonomů Sebastiana Galianiho, Federica A. Lópeze a Raula A. Sosy na portálu VoxEU. Autoři sestavili 40 ekonometrických úloh. Patří mezi ně lineární regrese, difference-in-differences, instrumentální proměnné, regresní diskontinuita, analýza přežití i časové řady. Každou úlohu model řešil ve Stata, R a Pythonu, s ukázkovým příkladem i bez něj.

Testovali dva modely: Claude Sonnet 4.6 v Claude Code a GPT-5.6 Luna v Codexu, celkem 14 400 běhů. Jako chatbot model napíše skript a nikdy ho nevidí běžet. Jako agent ho spouští, čte výstup a opravuje, dokud sám neusoudí, že je hotovo. Podíl správných výsledků vzrostl z 79 na 97 %. Claude Sonnet 4.6 se posunul z 81,4 na 99,2 %, GPT-5.6 Luna ze 77,3 na 95,1 %.

Nejvíc se změnila Stata, nejrozšířenější software v empirické ekonomii. Jako chatbot bez příkladu zaostávala za Pythonem o 25,5 procentního bodu u Clauda a o 30,8 bodu u GPT. V roli agenta se rozdíl zúžil na 1,3 a 6,8 bodu.

Syntaxe zlevnila, kontrola výsledku teď stojí víc

Mollickova věta o zastarávání sedí na jednu vrstvu práce: přepis metody do kódu. U Clauda agent zvedl cenu běhu z 4,56 na 14,09 centu. Každý správný výsledek navíc stojí asi 0,54 dolaru. Podle autorů to odpovídá 0,6 až 2,2 minuty práce výzkumného asistenta. Za takovou cenu nikdo nebude ručně ladit makra ve Stata.

Studie ale mění i to, jaké chyby zůstávají. Autoři rozlišují hlasité chyby, kdy skript spadne nebo nevrátí výsledek, a tiché, kdy proběhne a některé číslo je špatně. Hlasitých chyb ubylo z 15,8 na 100 běhů na nulu. Tichých jen z 4,9 na 2,9. Pod agentem je každá zbylá chyba tichá. Typicky jde o špatný index nebo člen ve vzorci v jinak správné metodě. Nejhůř dopadla úloha se shift-share instrumenty: agent vrátil všechny odhady, ale směrodatnou chybu mimo toleranci.

Pro doktorandy a jejich školitele z toho plyne jiný studijní plán. Méně hodin nad syntaxí, víc nad tím, jak poznat, že věrohodně vypadající regrese vrací nesmysl.

Simulovaná data jsou laboratoř, skutečný výzkum je špinavější

Benchmark má jasné limity. Úlohy přímo pojmenovávají metodu a přicházejí se simulovanými daty a předem spočítaným správným výstupem. V běžném výzkumu nikdo správný výsledek dopředu nedodá. Velká část práce navíc spočívá v čištění dat a volbě specifikace, a tam se tiché chyby schovávají ještě lépe.

Modely se také hodně liší. Pokles tichých chyb pochází skoro celý od Clauda, z 4,7 na 0,8 na 100 běhů. GPT-5.6 Luna zůstal téměř na místě, z 5,1 na 4,9. Ani lidský kód přitom není bez vad. Audit 110 studií z prestižních časopisů, na který autoři odkazují, našel chyby v kódu zhruba u čtvrtiny z nich.

O dopadu rozhodnou časopisy, až začnou chtít kontrolu specifikace

Autoři upozorňují, že pouhé opakované spuštění kódu tiché chyby neodhalí. Kód může reprodukovat publikovaná čísla a přesto počítat něco jiného, než měl. Vyplatí se proto sledovat, jestli časopisy začnou kromě replikačních balíčků chtít i nezávislou kontrolu toho, co skript skutečně odhaduje.

Druhý signál je praktičtější. Varianta self-repair, tedy nejvýš tři opravy po spuštění, dosáhla 68 až 73 % zlepšení plného agenta. Kdo dnes kopíruje skripty z chatového okna, nemusí hned nasazovat autonomního agenta. Stačí, když model uvidí vlastní chybovou hlášku. Mollickova poznámka o akademicích, kteří AI pořád berou jako chatbota, míří přesně sem.

Lilithin verdikt

Makra ve Stata psaná po nocích přestávají být vstupenkou do akademie. Cenu teď má doktorand, který se podívá na hotovou regresi a řekne: tahle směrodatná chyba je podezřele malá.