Un agente de IA elevó la precisión del código econométrico del 79 % al 97 %. Los errores que quedan no se ven

Ethan Mollick, de la Wharton School, escribió en X que escribir buen código en Stata fue muy importante para su carrera académica y que esa habilidad se está quedando en gran parte obsoleta. Un estudio nuevo le da datos: un agente escribe código econométrico casi sin errores. El problema es que los fallos que aún comete no disparan ningún mensaje de error.

Como agente, Stata alcanzó a Python tras ir 25 puntos por detrás

El 19 de octubre, Mollick enlazó una columna de VoxEU firmada por los economistas Sebastian Galiani, Federico A. López y Raul A. Sosa. Los autores diseñaron 40 tareas econométricas: regresión lineal, difference-in-differences, variables instrumentales, regresión discontinua, análisis de supervivencia y series temporales. Cada tarea se resolvió en Stata, R y Python, con y sin un ejemplo en el prompt.

Probaron dos modelos, Claude Sonnet 4.6 en Claude Code y GPT-5.6 Luna en Codex, con 14.400 ejecuciones en total. En modo chatbot, el modelo escribe un script y nunca lo ve funcionar. En modo agente, lo ejecuta, lee la salida y lo corrige hasta decidir que ha terminado. La proporción de resultados correctos subió del 79 % al 97 %. Claude Sonnet 4.6 pasó del 81,4 % al 99,2 % y GPT-5.6 Luna, del 77,3 % al 95,1 %.

Stata, el software más usado en economía empírica, fue lo que más cambió. Como chatbot y sin ejemplo, quedaba 25,5 puntos porcentuales por detrás de Python con Claude y 30,8 puntos con GPT. Como agente, la brecha se redujo a 1,3 y 6,8 puntos.

La sintaxis se abarató y lo caro ahora es revisar el resultado

La frase de Mollick sobre la obsolescencia encaja con una capa del trabajo: traducir un método a código. Con Claude, el agente elevó el coste de cada ejecución de 4,56 a 14,09 céntimos de dólar. Cada resultado correcto adicional cuesta unos 0,54 dólares, lo que según los autores equivale a entre 0,6 y 2,2 minutos de trabajo de un ayudante de investigación. A ese precio, nadie seguirá depurando macros de Stata a mano.

El estudio también cambia qué errores sobreviven. Los autores distinguen los fallos ruidosos, cuando el script se cae o no devuelve resultado, de los silenciosos, cuando se ejecuta pero alguna cifra es incorrecta. Los ruidosos bajaron de 15,8 por cada 100 ejecuciones a cero. Los silenciosos, solo de 4,9 a 2,9. Con el agente, todo error que queda es silencioso. Suele tratarse de un índice equivocado o de un término erróneo en una fórmula dentro de un método por lo demás correcto. La peor tarea fue la de variables instrumentales shift-share: el agente devolvía todas las estimaciones, pero un error estándar fuera de la tolerancia.

Para doctorandos y directores de tesis, eso apunta a otro plan de formación. Menos horas con la sintaxis y más aprendiendo a reconocer una regresión verosímil que devuelve disparates.

Los datos simulados son un laboratorio y la investigación real es más sucia

El benchmark tiene límites claros. Cada tarea nombra el método y llega con datos simulados y un resultado de referencia calculado de antemano. En la investigación real nadie te entrega la respuesta correcta por adelantado. Gran parte del trabajo consiste además en limpiar datos y elegir la especificación, y ahí los errores silenciosos se esconden todavía mejor.

Los modelos también difieren mucho. La caída de los fallos silenciosos se debe casi por completo a Claude, de 4,7 a 0,8 por cada 100 ejecuciones. GPT-5.6 Luna apenas se movió, de 5,1 a 4,9. El código humano tampoco está limpio. Una auditoría de 110 estudios en revistas prestigiosas, citada por los autores, encontró errores de código en aproximadamente una cuarta parte.

El impacto lo decidirán las revistas cuando exijan revisar la especificación

Los autores subrayan que volver a ejecutar el código no revela los errores silenciosos. Un script puede reproducir las cifras publicadas y aun así calcular algo distinto de lo previsto. Conviene vigilar si las revistas empiezan a pedir, además de los paquetes de replicación, una revisión independiente de lo que el script estima de verdad.

La segunda señal es más práctica. La variante self-repair, con un máximo de tres correcciones tras ejecutar, logró entre el 68 % y el 73 % de la mejora del agente completo. Quien todavía copia scripts desde una ventana de chat no necesita lanzarse ya a un agente autónomo. Basta con que el modelo vea su propio mensaje de error. A eso apunta justamente el dardo de Mollick a los académicos que siguen viendo la IA como un chatbot.

El veredicto de Lilith

Las macros de Stata escritas de madrugada ya no son el billete de entrada a la academia. Lo que vale ahora es el doctorando que mira una regresión terminada y dice: este error estándar es sospechosamente pequeño.