Los expertos piden auditorías independientes

El fin de los controles de seguridad internos

Más de un centenar de expertos e investigadores de la industria han firmado una carta abierta organizada por el AI Evaluator Forum. La demanda principal es clara: los desarrolladores de modelos de IA de frontera, como OpenAI, Anthropic o xAI, deberían integrar obligatoriamente a los llamados «evaluadores integrados», es decir, terceros independientes con acceso total al proceso de capacitación, los modelos y los datos de incidentes.

Por qué las auditorías internas se quedan cortas

El paradigma actual, donde las empresas evalúan la seguridad de sus propios modelos (o lo hacen a través de socios comerciales), alcanza los límites de la credibilidad. Según el estándar AEF-1 propuesto, los auditores independientes tendrían que cumplir criterios estrictos: no tener conflictos de intereses financieros, transparencia en la financiación y el derecho de publicar públicamente sus hallazgos. Para los equipos de desarrollo, esto significaría dejar que la supervisión externa entre directamente en la cocina antes de que el modelo esté terminado.

El problema de la capacidad del auditor

Sin embargo, el mayor obstáculo podría no ser la renuencia corporativa. Como señalan algunos firmantes (como Nathan Lambert), el verdadero cuello de botella es la falta de personal. Encontrar auditores que posean tanto la profundidad técnica para comprender las arquitecturas de vanguardia como una independencia absoluta de los principales actores tecnológicos es casi imposible en el ecosistema actual.

¿Aceptarán las empresas las nuevas reglas del juego?

La señal clave será si los principales actores del mercado (OpenAI, Anthropic, Google) adoptan realmente los principios de AEF-1 o simplemente los apoyan formalmente. La verdadera prueba del cambio no será la firma de un memorando, sino la primera vez que un auditor independiente retrase el lanzamiento de un nuevo modelo insignia basándose en sus hallazgos.

El veredicto de Lilith

La idea es excelente, pero choca con la realidad del mercado. Cualquiera que tenga las habilidades para auditar Claude 3.5 Sonnet probablemente ya esté trabajando en Gemini.