Las marcas de agua invisibles rompen las defensas: el watermarking de texto abre inesperadamente los modelos a inyecciones de prompts

Descubriendo el efecto secundario de las marcas de agua

Los esfuerzos por hacer que el contenido generado por IA se distinga de la escritura humana han encontrado una compensación incómoda. Según un nuevo estudio, los mecanismos de marcas de agua de texto degradan la defensa de un modelo contra prompts peligrosos. Los autores llaman a este fenómeno sampling drift. Si un modelo usa una marca de agua, la probabilidad de selección de palabras cambia de tal manera que cumple más fácilmente con una instrucción que los filtros de seguridad bloquearían de otra manera.

El estudio muestra que cuando la marca de agua está activa, los modelos responden a consultas dañinas de manera diferente dependiendo de la clave secreta que se usó para la marca de agua. Este fenómeno interrumpe la suposición anterior de que insertar una marca de agua es simplemente una superposición estadística inofensiva.

La elección se complica para los equipos que implementan agentes

Hasta ahora, habilitar una marca de agua (como SynthID de Google) se consideraba un paso responsable hacia la transparencia sin costo para la funcionalidad. El nuevo hallazgo cambia esto. Si un modelo funciona como un agente y tiene acceso a herramientas, una capacidad debilitada para rechazar una instrucción significa un riesgo significativamente mayor de ataques de prompt injection.

Los equipos de seguridad se encuentran así en un aprieto. Pueden implementar un modelo con marca de agua y correr el riesgo de que un atacante confunda más fácilmente al agente para que ejecute una función no deseada, o desactivar la marca de agua y perder la capacidad de identificar retroactivamente que la salida fue generada por su sistema.

Un ataque todavía requiere manipulación por parte del usuario

Esto no significa que las marcas de agua conviertan inherentemente a los modelos en armas peligrosas. El fenómeno debilita la llamada refusal rate, la capacidad del modelo para decirle no al usuario. Un atacante todavía debe proporcionar un prompt dañino sofisticado.

La diferencia es que con una marca de agua activa, el atacante tiene una probabilidad estadísticamente mayor de éxito. Por lo tanto, el descubrimiento destaca la fragilidad de ajustar los modelos por seguridad en lugar de un fallo fundamental de la tecnología en sí.

La verdadera prueba será el comportamiento de las plataformas empresariales

La clave será observar cómo los principales proveedores como OpenAI o Anthropic, que están bajo una creciente presión para implementar marcas de agua en todos los ámbitos, reaccionan ante este descubrimiento. Si resulta que las marcas de agua degradan sistemáticamente la defensa contra jailbreaks en modelos que trabajan con datos corporativos, podría ralentizar significativamente su adopción.

La prueba de la gravedad del problema será si las empresas comienzan a desaconsejar explícitamente activar las marcas de agua para los modelos que operan en modo de agente y tienen acceso a herramientas externas.

El veredicto de Lilith

La elección es de repente clara. O sabes quién generó el texto, o sabes que tu agente no enviará la base de datos de clientes al primer hacker en Internet.