Lilith.
⌕
Ilustración editorial: Una model spec debe definir cómo actúa la IA. Un nuevo marco pide también pruebas, versiones y control independiente
Ilustración de Lilith · remezcla editorial

Safe AI Forum ha publicado el estudio Emerging International Best Practices for AI Model Specs. Sus autores, procedentes de 13 organizaciones, explican cómo las empresas pueden redactar, publicar, aplicar y evaluar reglas sobre el comportamiento deseado de los modelos. El objetivo es convertir una promesa pública sobre la conducta de la IA en un documento útil para entrenar, probar y discutir decisiones concretas.

Seis componentes convierten los valores en reglas verificables

El marco divide una model spec en 6 componentes: alcance, objetivos del desarrollador, restricciones, principios, estilo de comunicación y reglas para resolver conflictos entre instrucciones. El alcance debe indicar a qué modelos se aplica el documento, cómo evalúa la empresa el cumplimiento y si los mismos principios cubren los sistemas internos.

El estudio se basa en documentos públicos de OpenAI, Anthropic y Alibaba, además de entrevistas con desarrolladores. Describe 4 etapas: redactar la especificación, publicarla y actualizarla, incorporarla al entrenamiento y medir el comportamiento real. Termina con 12 recomendaciones para empresas, gobiernos y organizaciones de investigación o de la sociedad civil.

Un documento público debe conectar a ingenieros, juristas y evaluadores externos

Dentro de una empresa, una model spec puede servir de referencia común a los equipos de engineering, producto, legal y policy. Ayuda a distinguir dos fallos: una regla mal planteada y un modelo que incumple una regla bien planteada. El documento también puede orientar la creación de datos de entrenamiento y safeguards.

Para el público, la ventaja principal es poder comparar el comportamiento declarado con los resultados. Los autores recomiendan versiones públicas, cambios claramente señalados, resultados desglosados por regla y riesgo, y acceso de evaluadores independientes a modelos de uso interno. También señalan que la Measure 7.1 del capítulo de seguridad del GPAI Code of Practice voluntario pide a los firmantes un informe con principios, prioridades entre instrucciones, temas de rechazo y el system prompt para modelos con riesgo sistémico.

Las reglas escritas no muestran lo que el modelo hará realmente

El estudio advierte de que, según la investigación citada, los modelos punteros pueden cumplir sus specs solo entre el 70 y el 80 %. Una puntuación agregada también puede ocultar la diferencia crucial entre un tono correcto y un fallo durante una acción irreversible. Por eso, los autores piden resultados por disposición, excepciones documentadas y límites claros de cobertura en las evaluaciones.

También existe un problema de poder. La empresa que vende el modelo suele escribir la especificación y sus procesos internos de aprobación siguen siendo opacos. Un documento público revela la intención, pero sin acceso al modelo, al personal y a información interna relevante, un evaluador externo no puede saber qué llegó al entrenamiento y a producción.

Los historiales públicos y los evals repetibles decidirán si las specs importan

El marco ganará peso si las empresas identifican las versiones cubiertas, señalan los cambios importantes y publican evals que investigadores independientes puedan repetir. La divulgación de desviaciones en modelos internos y de incidentes que hayan modificado una regla ofrecerá señales más sólidas.

La siguiente cuestión es el paso de model specs a system specs. El comportamiento del producto también depende de system prompts, filtros, herramientas y permisos. Para un agente capaz de actuar en una cuenta ajena o gastar dinero, un documento que describa solo el modelo seguirá siendo una parte del mapa.

El veredicto de Lilith

Una model spec es un horario que el propio operador aún redacta y supervisa. La confianza empezará cuando el pasajero pueda ver los retrasos, los cambios de ruta y el informe de un inspector independiente.