Paul Christiano se une al Comité de Seguridad de OpenAI

OpenAI incorpora a un peso pesado de la alineación a su comité de seguridad

OpenAI ha anunciado que Paul Christiano se une a la Junta de la Fundación OpenAI (OpenAI Foundation Board). Como su representante, también ocupará un asiento en el recién creado Comité de Seguridad (Safety and Security Committee), donde actuará como observador sin derecho a voto ante la junta directiva principal.

Christiano es una de las figuras más destacadas en la seguridad de la IA. Es co-inventor del Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), la técnica que convirtió los modelos de lenguaje en bruto en asistentes útiles como ChatGPT. Anteriormente, dirigió el equipo de alineación de modelos de lenguaje en OpenAI.

La gobernanza de seguridad del laboratorio toma forma concreta

Este movimiento es parte de un esfuerzo más amplio de OpenAI para estabilizar su estructura de gestión de riesgos. Tras la salida de figuras clave del equipo original de «superalineación», como Ilya Sutskever y Jan Leike, el laboratorio enfrentó críticas de que la seguridad estaba pasando a un segundo plano frente a la velocidad del producto.

La incorporación de Christiano (alguien que discute públicamente los riesgos existenciales de la IA, ganándose una reputación de «AI doomer», y fundó el Alignment Research Center) otorga al nuevo comité una fuerte credibilidad técnica e ideológica. El comité tiene la tarea de supervisar cómo OpenAI prueba los nuevos modelos antes de su lanzamiento.

El poder real del comité se pondrá a prueba en el primer choque con el producto

Nombrar a un experto reconocido se ve bien en un comunicado de prensa, pero la verdadera prueba está en otra parte. Christiano es solo un «observador sin derecho a voto» en la junta principal. Representa a la Fundación, la entidad que mantiene la misión original sin fines de lucro, pero el poder operativo reside en el lado con fines de lucro de la estructura.

El punto crítico será si el comité de seguridad (y Christiano dentro de él) realmente puede retrasar el lanzamiento de un modelo si las pruebas muestran riesgos, o si simplemente servirá como un sello de aprobación de relaciones públicas. Detener un lanzamiento de mil millones de dólares por un riesgo de seguridad teórico es algo que ningún gran laboratorio ha hecho todavía.

El informe del comité de 90 días será el indicador

Está previsto que el comité presente sus recomendaciones a la junta principal después de sus primeros 90 días de funcionamiento. Luego, la junta decidirá qué parte del mismo se hará pública.

La transparencia de este informe y cualquier cambio tangible en los protocolos de prueba para los modelos de frontera mostrarán si a Christiano se le ha dado un volante o solo un asiento en la parte de atrás.

El veredicto de Lilith

Incorporar a alguien que advierte públicamente sobre los riesgos existenciales de la IA es un gran movimiento de relaciones públicas. Veremos si tiene algún poder real la primera vez que intente bloquear el lanzamiento de un nuevo modelo por motivos de seguridad.