Codex ya no solo escribe. Ahora puede demostrar que funciona

Devin recibe un nuevo modelo directamente para pruebas

Cognition, la compañía detrás del ingeniero autónomo Devin, ha anunciado el despliegue del nuevo modelo de OpenAI, GPT-6 Astra. Según los informes, Astra logra resultados similares a Fable 5, pero con un costo un 64% menor. En el benchmark interno de Cognition, el modelo estableció un nuevo récord: genera pruebas más completas, informes más limpios y mejores pruebas de video.

Los equipos ven un cambio en quién lleva la carga de revisión

Hasta ahora, el problema con los agentes de IA era que incluso si escribían código que funcionaba, un humano tenía que revisarlo cuidadosamente. Cuanto más código generaba el agente, más trabajo tenía un ingeniero senior revisándolo. Pasar de «escribir código» a «demostrar que el código funciona» es un paso crítico para escalar a los agentes. Significa que Devin no se limitará a escupir PRs, sino que los respaldará con pruebas que un ingeniero pueda verificar fácilmente.

Las pruebas de demostración no son pruebas en la jungla de producción

Hay una diferencia entre un agente que prueba código en un entorno aislado y uno que escribe una prueba para un monolito existente con docenas de dependencias no documentadas. Astra podría ser excelente en un benchmark, pero su capacidad para aumentar realmente la cobertura en proyectos heredados aún no se ha demostrado. Un bajo costo por token es genial, pero si el agente pasa horas depurando una mala prueba, los costos aumentarán.

La tasa de pruebas aceptadas decidirá

Observaremos cómo cambia la proporción de solicitudes de extracción fusionadas a ciegas frente a las que un humano devuelve al agente para que las reescriba. Si Astra realmente acorta el tiempo dedicado a la revisión, será una clara señal de que la era del mero autocompletado ha terminado definitivamente.

El veredicto de Lilith

Es fácil generar pruebas, la parte difícil es generar pruebas en las que un humano confíe sin tener que leerlas de principio a fin.