Ein KI-Agent hob die Trefferquote bei Ökonometrie-Code von 79 auf 97 %. Die verbleibenden Fehler sieht man nicht

Ethan Mollick von der Wharton School schrieb auf X, guter Stata-Code sei für seine akademische Karriere sehr wichtig gewesen, und diese Fähigkeit werde nun weitgehend überflüssig. Eine neue Studie liefert die Daten dazu: Ein Agent schreibt ökonometrischen Code fast fehlerfrei. Der Haken ist, dass die Fehler, die er noch macht, keine Fehlermeldung auslösen.

Als Agent holte Stata gegenüber Python 25 Punkte Rückstand auf

Am 19. Oktober verlinkte Mollick eine VoxEU-Kolumne der Ökonomen Sebastian Galiani, Federico A. López und Raul A. Sosa. Die Autoren stellten 40 ökonometrische Aufgaben zusammen, von linearer Regression über Difference-in-Differences, Instrumentvariablen und Regressionsdiskontinuität bis zu Überlebensanalyse und Zeitreihen. Jede Aufgabe lief in Stata, R und Python, jeweils mit und ohne Beispiel im Prompt.

Getestet wurden zwei Modelle, Claude Sonnet 4.6 in Claude Code und GPT-5.6 Luna in Codex, mit insgesamt 14.400 Durchläufen. Als Chatbot schreibt das Modell ein Skript und sieht es nie laufen. Als Agent führt es das Skript aus, liest die Ausgabe und überarbeitet es, bis es sich für fertig hält. Der Anteil korrekter Ergebnisse stieg von 79 auf 97 %. Claude Sonnet 4.6 verbesserte sich von 81,4 auf 99,2 %, GPT-5.6 Luna von 77,3 auf 95,1 %.

Am stärksten veränderte sich Stata, die meistgenutzte Software der empirischen Ökonomie. Als Chatbot ohne Beispiel lag sie bei Claude 25,5 Prozentpunkte hinter Python, bei GPT 30,8 Punkte. Als Agent schrumpfte der Abstand auf 1,3 und 6,8 Punkte.

Syntax ist billig geworden, teuer ist jetzt die Prüfung des Ergebnisses

Mollicks Satz vom Überflüssigwerden trifft auf eine Ebene der Arbeit zu: die Übersetzung einer Methode in Code. Bei Claude stiegen die Kosten pro Durchlauf mit dem Agenten von 4,56 auf 14,09 Cent. Jedes zusätzliche korrekte Ergebnis kostet rund 0,54 Dollar, laut den Autoren so viel wie 0,6 bis 2,2 Minuten Arbeit einer Hilfskraft. Zu diesem Preis wird niemand mehr Stata-Makros von Hand debuggen.

Die Studie verändert auch, welche Fehler übrig bleiben. Die Autoren unterscheiden laute Fehler, bei denen das Skript abstürzt oder kein Ergebnis liefert, von stummen, bei denen es läuft, aber eine Zahl falsch ist. Laute Fehler sanken von 15,8 pro 100 Durchläufe auf null, stumme nur von 4,9 auf 2,9. Unter dem Agenten ist jeder verbleibende Fehler stumm. Meist handelt es sich um einen falschen Index oder einen falschen Term in einer Formel innerhalb einer ansonsten korrekten Methode. Am schlechtesten schnitt die Aufgabe mit Shift-Share-Instrumenten ab: Der Agent lieferte alle Schätzer, aber einen Standardfehler außerhalb der Toleranz.

Für Promovierende und ihre Betreuer bedeutet das einen anderen Lehrplan. Weniger Stunden für Syntax, mehr dafür, eine plausibel aussehende Regression zu erkennen, die Unsinn ausgibt.

Simulierte Daten sind ein Labor, echte Forschung ist unordentlicher

Der Benchmark hat klare Grenzen. Jede Aufgabe nennt die Methode und kommt mit simulierten Daten und einem vorab berechneten Referenzergebnis. In echter Forschung liefert niemand die richtige Antwort im Voraus. Ein Großteil der Arbeit besteht zudem aus Datenbereinigung und der Wahl der Spezifikation, und dort verstecken sich stumme Fehler noch besser.

Auch die Modelle unterscheiden sich deutlich. Der Rückgang der stummen Fehler geht fast vollständig auf Claude zurück, von 4,7 auf 0,8 pro 100 Durchläufe. GPT-5.6 Luna trat nahezu auf der Stelle, von 5,1 auf 4,9. Menschlicher Code ist allerdings auch nicht fehlerfrei. Eine von den Autoren zitierte Prüfung von 110 Studien in renommierten Fachzeitschriften fand in etwa einem Viertel davon Codefehler.

Über die Wirkung entscheiden Fachzeitschriften, sobald sie Spezifikationsprüfungen verlangen

Die Autoren betonen, dass bloßes erneutes Ausführen des Codes stumme Fehler nicht aufdeckt. Ein Skript kann die veröffentlichten Zahlen reproduzieren und trotzdem etwas anderes berechnen als beabsichtigt. Spannend ist daher, ob Zeitschriften neben Replikationspaketen künftig eine unabhängige Prüfung dessen verlangen, was das Skript tatsächlich schätzt.

Das zweite Signal ist praktischer. Die Variante Self-Repair mit höchstens drei Korrekturen nach dem Ausführen erreichte 68 bis 73 % der Verbesserung des vollen Agenten. Wer heute noch Skripte aus einem Chatfenster kopiert, braucht nicht sofort einen autonomen Agenten. Es reicht, wenn das Modell seine eigene Fehlermeldung zu sehen bekommt. Genau darauf zielt Mollicks Seitenhieb gegen Akademiker, die KI immer noch als Chatbot sehen.

Liliths Urteil

Nachts geschriebene Stata-Makros sind keine Eintrittskarte in die Wissenschaft mehr. Gefragt ist jetzt die Doktorandin, die auf eine fertige Regression schaut und sagt: Dieser Standardfehler ist verdächtig klein.