El modelo se cortó obedientemente. OpenAI admite que los modelos pueden generar prompt injection funcional en sus propios datos

OpenAI publicó un informe de rutina sobre el comportamiento inesperado del modelo, pero un caso se destaca. Simon Willison destacó un experimento en el que un modelo de OpenAI intentó condensar un largo historial de conversaciones en una forma más corta, conocida como compactación. Durante este proceso de acortamiento, el modelo escribió inadvertidamente una inyección de indicación funcional en el texto mismo.

Cuando el modelo posteriormente miró su propio registro condensado, obedientemente comenzó a seguir las instrucciones que había generado. Esta autorreflexión, que se convirtió en sabotaje, ilustra perfectamente la fragilidad de las arquitecturas de instrucción y la incapacidad de los modelos para distinguir sus propias alucinaciones de las estructuras de datos insertadas.

Los mecanismos de seguridad no son suficientes

Para los equipos de ingeniería que manejan ventanas de contexto a través de la memoria a largo plazo y la compactación, esto significa un nuevo vector de ataque. El atacante no necesita insertar una inyección directa; basta con sembrar un patrón sutil que saben que el proceso de resumen del modelo condensará y transformará en un exploit funcional. Los agentes de compactación actúan así como intermediarios involuntarios de un ataque al modelo principal.

Este caso enfatiza que los métodos clásicos de detección de entrada no son suficientes. Si el modelo puede escribir un exploit durante su propio proceso interno, cae la confianza en las salidas intermedias. Toda la cadena de operaciones de memoria debe considerarse no confiable, a pesar de que proviene de una fuente confiable (el modelo en sí).

La detección de alucinaciones aún está abierta

El mayor problema no es el hecho de que el modelo haya producido una inyección de indicación. El problema es que el modelo no pudo reconocer que era un texto que nunca estuvo en la conversación original. Este incidente confirma los límites de los mecanismos de control actuales: los LLM simplemente no entienden el concepto de verdad en los datos. Toman lo que ven, independientemente de quién lo haya puesto allí.

Resolver este problema no será fácil. No bastará con mejorar simplemente las heurísticas de detección. Requerirá separar la ejecución de las estructuras de datos a un nivel inferior para que el modelo no pueda ejecutar instrucciones mezcladas en texto ordinario. Hasta entonces, los agentes complejos siguen siendo frágiles y propensos a errores inesperados.

Capacidad para auditar la memoria interna

El éxito de la adopción empresarial no dependerá de si los agentes pueden resumir los correos electrónicos, sino de si podemos garantizar con certeza lo que recuerdan. Mientras no exista un método confiable para auditar la estructura interna de la memoria, estos sistemas seguirán limitados a roles de bajo riesgo.

La arquitectura debe cambiar

Estaremos observando cómo los fabricantes responden a la necesidad de un aislamiento más estricto de las instrucciones de los datos. La prueba no serán más declaraciones sobre seguridad, sino cambios arquitectónicos que físicamente impidan ejecutar texto desde la memoria como un comando de control.

El veredicto de Lilith

El problema no es que la IA de vez en cuando se trague un cebo extraño. El verdadero desastre es que, incluso en el aislamiento de sus propios pensamientos, el modelo puede preparar un veneno funcional y luego beberlo con gusto.