Agent AI podniósł poprawność kodu ekonometrycznego z 79 do 97 %. Błędy, które zostały, są niewidoczne

Ethan Mollick z Wharton School napisał na X, że umiejętność pisania dobrego kodu w Stata była bardzo ważna dla jego kariery akademickiej, a teraz w dużej mierze się dezaktualizuje. Nowe badanie daje mu dane: agent pisze kod ekonometryczny niemal bez błędów. Haczyk w tym, że błędów, które jeszcze robi, nie zdradza żaden komunikat.

Jako agent Stata dogoniła Pythona, choć jako chatbot traciła 25 punktów

Mollick 19 października podlinkował tekst ekonomistów Sebastiana Galianiego, Federica A. Lópeza i Raula A. Sosy w serwisie VoxEU. Autorzy przygotowali 40 zadań ekonometrycznych, od regresji liniowej przez difference-in-differences, zmienne instrumentalne i regresję nieciągłości po analizę przeżycia i szeregi czasowe. Każde zadanie model rozwiązywał w Stata, R i Pythonie, z przykładem w prompcie i bez niego.

Testowano dwa modele: Claude Sonnet 4.6 w Claude Code i GPT-5.6 Luna w Codex, łącznie 14 400 uruchomień. Jako chatbot model pisze skrypt i nigdy nie widzi, jak działa. Jako agent uruchamia go, czyta wynik i poprawia, aż sam uzna, że skończył. Odsetek poprawnych wyników wzrósł z 79 do 97 %. Claude Sonnet 4.6 poszedł z 81,4 do 99,2 %, GPT-5.6 Luna z 77,3 do 95,1 %.

Najwięcej zmieniło się w Stata, najpopularniejszym programie w ekonomii empirycznej. Jako chatbot bez przykładu ustępowała Pythonowi o 25,5 punktu procentowego u Claude'a i o 30,8 punktu u GPT. W trybie agenta różnica spadła do 1,3 i 6,8 punktu.

Składnia staniała, a drożeje sprawdzanie wyniku

Zdanie Mollicka o dezaktualizacji pasuje do jednej warstwy pracy: przełożenia metody na kod. U Claude'a agent podniósł koszt uruchomienia z 4,56 do 14,09 centa. Każdy dodatkowy poprawny wynik kosztuje około 0,54 dolara, co według autorów odpowiada 0,6 do 2,2 minuty pracy asystenta badawczego. Przy takiej cenie nikt nie będzie ręcznie debugował makr w Stata.

Badanie zmienia też to, jakie błędy zostają. Autorzy dzielą je na głośne, gdy skrypt się wysypuje albo nie zwraca wyniku, i ciche, gdy działa, ale jakaś liczba jest błędna. Głośnych błędów ubyło z 15,8 na 100 uruchomień do zera. Cichych tylko z 4,9 do 2,9. W trybie agenta każdy pozostały błąd jest cichy. Zwykle to zły indeks albo zły składnik wzoru w skądinąd poprawnej metodzie. Najgorzej wypadło zadanie z instrumentami shift-share: agent zwracał wszystkie oszacowania, ale błąd standardowy poza tolerancją.

Dla doktorantów i promotorów oznacza to inny program nauki. Mniej godzin nad składnią, więcej nad tym, jak rozpoznać wiarygodnie wyglądającą regresję, która zwraca bzdury.

Symulowane dane to laboratorium, prawdziwe badania są bardziej zabałaganione

Benchmark ma wyraźne ograniczenia. Zadania wprost nazywają metodę i przychodzą z symulowanymi danymi oraz z góry policzonym wzorcowym wynikiem. W prawdziwych badaniach nikt nie poda poprawnego wyniku z wyprzedzeniem. Duża część pracy to też czyszczenie danych i wybór specyfikacji, a tam ciche błędy chowają się jeszcze lepiej.

Modele mocno się też różnią. Spadek cichych błędów to niemal w całości zasługa Claude'a, z 4,7 do 0,8 na 100 uruchomień. GPT-5.6 Luna prawie stał w miejscu, z 5,1 do 4,9. Kod pisany przez ludzi też nie jest bez skazy. Audyt 110 badań z prestiżowych czasopism, na który powołują się autorzy, wykrył błędy w kodzie mniej więcej w co czwartym.

O skutkach przesądzą czasopisma, gdy zażądają kontroli specyfikacji

Autorzy podkreślają, że samo ponowne uruchomienie kodu nie ujawni cichych błędów. Kod może odtworzyć opublikowane liczby i mimo to liczyć coś innego, niż miał. Warto więc patrzeć, czy czasopisma oprócz pakietów replikacyjnych zaczną wymagać niezależnej kontroli tego, co skrypt naprawdę szacuje.

Drugi sygnał jest bardziej praktyczny. Wariant self-repair, czyli najwyżej trzy poprawki po uruchomieniu, dał 68 do 73 % poprawy pełnego agenta. Kto dziś kopiuje skrypty z okna czatu, nie musi od razu wdrażać autonomicznego agenta. Wystarczy pokazać modelowi jego własny komunikat o błędzie. Właśnie w to celuje przytyk Mollicka pod adresem naukowców, którzy wciąż traktują AI jak chatbota.

Werdykt Lilith

Makra w Stata pisane po nocach przestają być przepustką do akademii. Teraz liczy się doktorant, który spojrzy na gotową regresję i powie: ten błąd standardowy jest podejrzanie mały.