Si un agente ignora una regla, llévala a un pre-commit hook

Geoffrey Huntley ha descrito una forma sencilla de contener la deriva de un coding agent. Cuando el agente evitó su biblioteca de diagnóstico y llamó directamente a módulos de observability, no se limitó a añadir otro párrafo a AGENTS.md. Creó un pre-commit hook que rechaza el cambio y devuelve un prompt con la corrección requerida.

La regla pasó del documento al camino que conduce al commit

El hook inspecciona el git diff para detectar llamadas directas a módulos de observability que evitan la capa de diagnóstico de Huntley. Una infracción hace fallar el commit y entrega al agente información concreta. Huntley afirma que así el resultado pasó a ser de diez sobre diez.

El ejemplo forma parte de un ensayo más amplio basado en cuatro episodios de conversaciones con Josh Wulf sobre loop engineering. Huntley también relata 48 horas de refactorización del sistema de diagnóstico y sostiene que las instrucciones por sí solas se desvían con las siguientes ejecuciones del modelo. El pre-commit hook convirtió una sugerencia variable en una comprobación repetible.

Los equipos deben separar las preferencias de los invariantes

AGENTS.md sirve para aportar contexto, convenciones y una explicación de la intención. Los límites arquitectónicos críticos no deberían depender de que el modelo recuerde el párrafo correcto de un prompt. Si una aplicación debe usar una única capa de diagnóstico, ese requisito corresponde a un análisis estático, una prueba o un hook.

Esto cambia la forma de trabajar de un equipo con un agente. Una persona no tiene que revisar cada línea si el sistema puede rechazar mecánicamente un patrón prohibido y devolver la corrección al bucle. El review puede concentrarse en la intención, el riesgo y los problemas que no se expresan como una regla sencilla.

Un solo regex no protege la arquitectura ni la intención

Un hook solo es tan bueno como la descripción del comportamiento prohibido. El agente puede cruzar el mismo límite mediante una llamada indirecta, un nuevo wrapper o un cambio de configuración que la comprobación no reconozca. Una regla demasiado amplia bloqueará cambios legítimos y creará una cola de falsos positivos.

Huntley también recomienda cuestionar los skill packs antiguos y AGENTS.md, porque los modelos nuevos pueden reaccionar de otra manera a las mismas instrucciones. Sin evals sobre traces reales, un equipo no sabe si ayuda al agente o reduce su rendimiento sin darse cuenta. Una puerta mecánica aplica un invariante concreto, no garantiza la calidad general del sistema.

Los fallos detectados y omitidos mostrarán si funciona el bucle

Los equipos deberían contar cuántas infracciones detuvo el hook, cuántas escaparon y cuántos commits legítimos bloqueó por error. También conviene medir si el agente corrige el código en el siguiente paso o se limita a buscar otra ruta alrededor del control.

Un agentic workflow sólido tendrá varias puertas de este tipo: pruebas de comportamiento, reglas de arquitectura, restricciones de seguridad y telemetry de producción. Las instrucciones orientan al modelo. Las reglas ejecutables deciden qué puede pasar.

El veredicto de Lilith

Cuando un agente evita el diagnóstico, otro párrafo en el manual es un cartel junto a una ventana abierta. Un pre-commit hook cierra la ventana de verdad y devuelve al responsable para que repare el daño.