Lilith.
⌕
Ilustración editorial: Helen Toner lleva la gobernanza de la IA de la confianza en los CEO a las reglas exigibles
Ilustración de Lilith · remezcla editorial

Helen Toner rechaza en una entrevista con The Verge que la seguridad de los sistemas de IA más capaces pueda depender del carácter de unos pocos directivos. La exconsejera de OpenAI votó a favor de destituir a Sam Altman y después vio cómo regresaba mientras se deshacía el sistema original de supervisión.

OpenAI demostró que un consejo sin poder real no puede sostener el freno

El consejo sin ánimo de lucro de OpenAI debía proteger la misión original frente a la presión del crecimiento y el beneficio. Cuando aplicó en 2023 su medida más contundente y destituyó al CEO, la decisión duró poco. Toner afirma que volvería a votar igual, aunque reconoce que el consejo podría haber construido relaciones más sólidas con los ejecutivos.

Su argumento central es institucional, no un juicio personal sobre un directivo. Si el futuro depende de que una sola persona sea digna de confianza, el diseño de la institución ya ha fallado. CSET, que ahora dirige, cuenta con unas 50 personas y desde 2019 convierte cuestiones técnicas y de seguridad en análisis útiles para responsables políticos estadounidenses.

Los umbrales de seguridad deben frenar al laboratorio que no llega a tiempo

Toner describe laboratorios que usan IA en una parte creciente de su propia investigación mientras no consiguen implantar todas las medidas de seguridad conocidas. Propone un umbral claro de evaluación y gestión del riesgo antes de entrenar o lanzar otro modelo. Quien lo cumpla puede seguir. Quien no, debe dedicar más tiempo.

Para las empresas que compran IA, el cambio importante va de las promesas al proceso. La responsabilidad solo puede comprobarse cuando hay pruebas obligatorias, registro de decisiones y una autoridad ajena al equipo de producto capaz de detener un lanzamiento.

Cotizar en bolsa puede añadir control y también presión por crecer

Toner no considera que la salida a bolsa de un laboratorio de IA sea solo una amenaza. Las empresas cotizadas afrontan reglas más estructuradas de gobierno, información y escrutinio externo que las privadas. Las expectativas trimestrales de los inversores también pueden acelerar la carrera por nuevas capacidades. Importarán las facultades concretas de los comités independientes, no su nombre.

La entrevista recoge la opinión de una antigua consejera y no constituye una auditoría de la OpenAI actual. Su experiencia ofrece, aun así, una prueba de resistencia poco común para un mecanismo diseñado precisamente para un conflicto entre misión y dirección.

La primera prueba real será una decisión incómoda

Las nuevas reglas importarán cuando un comité retrase un modelo caro, un regulador exija datos incómodos o un consejo rechace el plan de la dirección. Hasta entonces, los compromisos voluntarios seguirán siendo promesas. Habrá que vigilar los umbrales publicados, las competencias de la supervisión independiente y los casos en que esa supervisión cambie de verdad una decisión del laboratorio.

El veredicto de Lilith

Toner propone una prueba sencilla: un freno de emergencia se reconoce porque detiene el tren incluso contra la voluntad del maquinista, no por la placa junto a la palanca.