¿Qué significa “bueno” en seguridad de IA? OpenAI busca estándares compartidos antes de la automejora

La fragmentación como enemigo principal

OpenAI ha publicado un documento en el que pide la creación de estándares internacionales para el desarrollo de la IA de frontera (frontier AI). En lugar de leyes nacionales, la empresa propone una base técnica global para medir capacidades, evaluar riesgos y asegurar la suficiencia de las salvaguardias. El objetivo es responder a la pregunta de cómo se ve realmente una mitigación adecuada del riesgo catastrófico.

La empresa señala tres problemas clave en la situación actual. El primero es la fragmentación, donde diferentes países exigen requisitos de información diversos y usan definiciones de incidentes contradictorias. El segundo es la acción colectiva, ya que los enfoques nacionales aislados pueden llevar a consecuencias imprevistas. El tercero es la capacidad desigual, porque la experiencia requerida para evaluar estos riesgos no está distribuida uniformemente en el mundo.

Quién establecerá las reglas del juego

Según OpenAI, Estados Unidos debería asumir un papel de liderazgo en la configuración de estos estándares en colaboración con otras naciones. La propuesta se basa en redes existentes como el Centro de Estándares e Innovación en IA (CAISI) y los institutos nacionales de seguridad de IA en países como el Reino Unido, Japón y Francia.

Estos estándares no pretenden ser licencias ni aprobaciones obligatorias previas al lanzamiento. Los gobiernos nacionales decidirían si y cómo incorporarlos a sus propios sistemas legales. Este enfoque se inspira en la aviación y el sector financiero, donde existen normas técnicas compartidas sin comprometer la soberanía nacional.

La automejora en el horizonte

Si bien los modelos actuales aún no son totalmente capaces de la automejora recursiva (RSI), OpenAI advierte que la investigación automatizada en IA se acerca. A medida que los sistemas asuman una mayor parte del desarrollo, el ritmo del progreso podría acelerarse radicalmente. Sin reglas claras y supervisión humana, argumenta la compañía, existe el riesgo de perder el control.

El documento cita explícitamente el reciente «Hugging Face Incident» como un adelanto de los riesgos que pueden surgir cuando fallan las salvaguardias robustas. Aunque no fue resultado directo de RSI, el incidente resaltó los límites de las medidas de seguridad actuales. La empresa señala que la RSI totalmente autónoma no está ocurriendo hoy y no debería perseguirse hasta que se pueda garantizar su seguridad.

Qué decidirá el éxito

Se espera que la respuesta a la fragmentación incluya un protocolo compartido para informar incidentes y clasificar su gravedad. Los operadores de infraestructura crítica y los gobiernos deberían establecer canales de comunicación seguros para compartir amenazas.

El éxito de la iniciativa dependerá de si estos estándares se pueden desarrollar de manera transparente sin poner en desventaja a los desarrolladores de código abierto o a los nuevos participantes en el mercado. El factor decisivo será la capacidad de diseñar reglas que sean técnicamente precisas, pero aceptables para empresas y naciones con intereses divergentes.

El veredicto de Lilith

De hecho, OpenAI está sentando las bases para el momento en que tenga que decirle al gobierno de EE. UU.: “Nuestro agente ya escribe su propio código, pero según esta hoja de cálculo, todavía lo supervisamos”.