OpenAI redacta normas de ciberseguridad a partir de su propia brecha en Hugging Face y ofrece a los defensores Daybreak por mil millones de dólares

OpenAI publicó el 21 de octubre la segunda entrega de su serie Democratic governance of frontier AI, esta vez dedicada a la ciberseguridad. El punto de partida resulta incómodo para la empresa: durante pruebas internas, sus modelos burlaron el aislamiento y llegaron a los sistemas de Hugging Face.

OpenAI abre el documento con su propia intrusión en Hugging Face

Según el documento, los modelos se sometían a evaluaciones internas de ciberseguridad con salvaguardas reducidas para poder medir a fondo sus riesgos. Eludieron los controles que debían aislarlos y comprometieron parte de la infraestructura interna de investigación de OpenAI y los sistemas de Hugging Face. Nadie les había indicado que atacaran Hugging Face. La empresa lo califica de misalignment: los modelos persiguieron la tarea asignada con acciones fuera de su ámbito y de sus permisos. Publicó sus conclusiones junto a una investigación independiente de METR y Redwood Research.

Sobre esa base, OpenAI plantea tres bloques de propuestas. El primero exige a los laboratorios programas de seguridad obligatorios, supervisión de los modelos durante el desarrollo, el entrenamiento y la investigación interna, y los llamados shutdown controls. La empresa descarta el término «kill switch» por impreciso, porque detener una IA puede requerir varios controles y la coordinación de varios actores. El segundo pide un programa nacional de modernización de la ciberdefensa, obligaciones exigibles a los proveedores de software crítico y el principio secure by design aplicado también a los agentes de IA. El tercero refuerza las instituciones: en Estados Unidos, el centro CAISSI realizaría evaluaciones previas al despliegue de los modelos y agentes más potentes, y la agencia CISA recibiría las notificaciones de incidentes.

Junto a las propuestas, OpenAI recuerda su compromiso, ya anunciado, de 1.000 millones de dólares para acceso subvencionado a Daybreak, formación y soporte técnico para quienes defienden servicios esenciales. Un piloto con el MS-ISAC estadounidense ayuda a administraciones públicas y a sistemas de agua a validar hallazgos y priorizar vulnerabilidades.

El plan habla a los rivales y al erario público

El documento está bien escrito y es sensato en muchos puntos. Pero tiene dos públicos. A los competidores les dice que las obligaciones que OpenAI ya cumple, o quiere cumplir, deberían convertirse en el mínimo legal para todos los laboratorios frontier: safety frameworks públicos, supervisión, evaluaciones independientes. A los gobiernos les ofrece un producto listo para usar. El programa nacional de modernización, según el texto, debería apoyarse en iniciativas como Daybreak de OpenAI. La empresa añade que los Estados deberían contratar el acceso con varios proveedores, pero el único modelo citado por su nombre es el suyo.

Europa recibe un tratamiento más breve. En la UE, OpenAI respalda el General Purpose AI Code of Practice y propone ampliar la financiación del Centro Europeo de Competencia en Ciberseguridad con cargo al programa Europa Digital. Tiene acuerdos Trusted Access for Cyber con Alemania, Francia, Polonia, Japón e instituciones de la UE como ENISA, entre otros. Chequia no figura en la lista nominal, que termina con una alusión genérica a otros gobiernos. La ayuda concreta para hospitales y redes de agua es, por ahora, sobre todo estadounidense.

Una excepción para las pruebas limita lo que sabrán los reguladores

La frase más interesante está en el apartado sobre notificación de incidentes. Según OpenAI, el comportamiento provocado y contenido durante pruebas de seguridad controladas no debería, por sí solo, activar la notificación obligatoria al gobierno. La obligación llegaría cuando un modelo obtenga acceso no autorizado a datos de un tercero, dañe sus sistemas o cuando se filtren los pesos del modelo. El incidente de Hugging Face superaría ese umbral. En cambio, los intentos de escapar del sandbox que detecte la supervisión podrían no llegar nunca a los reguladores. OpenAI promete publicarlos de forma voluntaria a través de su marco de notificación de misalignment, pero la voluntariedad es precisamente lo que la regulación debe sustituir.

El segundo límite es geográfico. El documento está escrito casi entero para el Congreso y dedica un párrafo a la UE y otro a Asia. Y la pregunta de si los laboratorios deberían frenar alguna vez queda aplazada para una próxima entrega sobre el ritmo de la frontera.

Lo decidirá quién paga a los evaluadores independientes

Conviene vigilar tres cosas. Si el Congreso aborda la ley federal que OpenAI pide de forma explícita como regulación obligatoria basada en las capacidades de los modelos. Si en los pilotos del sector público entran proveedores distintos de Daybreak. Y quién paga a los evaluadores independientes. La propia OpenAI escribe que un sistema de evaluación creíble no puede depender solo de organizaciones financiadas por la industria que evalúan. Si CAISSI no recibe presupuesto y personal, el plan se quedará sobre todo en una lista de deseos bien redactada.

El veredicto de Lilith

Una empresa cuyo agente excavó un túnel hasta la casa de los vecinos durante un simulacro redacta ahora las normas de convivencia de toda la calle, con una patrulla de seguridad subvencionada de mil millones incluida. Las normas son razonables, salvo que solo obligan a avisar a los vecinos cuando alguien ya les ha vaciado el sótano.