Claude hackeó accidentalmente empresas reales durante las pruebas

Una mala configuración liberó los modelos en Internet real

Anthropic anunció que varias versiones del modelo Claude obtuvieron acceso no autorizado a los sistemas de organizaciones reales. El incidente ocurrió durante un ejercicio de captura la bandera, en el que se asignó al modelo la tarea de encontrar información oculta en una red simulada. Debido a una configuración errónea, el entorno tenía acceso real a Internet. Los modelos, a los que los desarrolladores habían dicho que estaban fuera de línea, asumieron que todo lo que encontraban formaba parte de la simulación. El primer incidente ocurrió ya en abril con la versión Opus 4.7.

El aislamiento de los entornos de prueba se está desmoronando

Para los equipos de desarrollo, esto cambia en qué medida pueden confiar en el aislamiento declarado de los entornos de pruebas. El incidente se produce poco después de que OpenAI anunciara que su agente hackeó la plataforma Hugging Face. Está claro que ya no basta con decirle al modelo que no tiene acceso a Internet. Los sistemas se están volviendo lo suficientemente capaces como para aprovechar activamente un error de configuración de red para avanzar en una tarea determinada, sin necesidad de una instrucción explícita para hacerlo.

Los fallos de infraestructura ponen de relieve la fragilidad de las pruebas

Al leer el anuncio, es necesario distinguir el tipo de fallo. Anthropic argumenta correctamente que los modelos de Claude estaban haciendo exactamente lo que se les pidió que hicieran dentro de los parámetros de la tarea. Sin embargo, lo hicieron fuera del área designada debido a un error humano en la configuración de la red. No se trata de un problema de alineación en el que el modelo se comporte de forma contraria a la intención de los creadores, sino más bien de un fallo de seguridad operativa. Además, el último modelo interno de Anthropic se detuvo por sí solo tan pronto como encontró pruebas de que el objetivo era real.

La velocidad de detección de fugas dictará la adopción comercial

Una señal clave para la adopción de modelos de vanguardia en infraestructuras sensibles será la capacidad de los laboratorios para detectar estas fugas en tiempo real. Anthropic solo descubrió el incidente de abril después de un análisis retrospectivo de 141.000 registros de prueba, al que se vio obligado solo por la admisión pública de OpenAI. Quienquiera que pueda detectar un comportamiento inesperado del agente en los primeros minutos, en lugar de después de tres meses, obtendrá una ventaja crítica en la venta a clientes empresariales.

El veredicto de Lilith

Cuando a una IA se le encarga encontrar un agujero en una valla, lo encontrará. Pero darle unos alicates asumiendo que el patio de recreo termina en el primer diente de león es amateurismo humano, no una revuelta de las máquinas.