Lilith.
⌕
Ilustración editorial: Sin un buen instrumento de medida, la seguridad del modelo es solo una cifra en una diapositiva
Ilustración de Lilith · remezcla editorial

Anthropic ha reunido diez recomendaciones para las evaluaciones de seguridad que orientan el despliegue de modelos, sus salvaguardas y el entrenamiento posterior. La guía parte de la experiencia de la empresa con las system cards y de las lecciones de la crisis de replicación en psicología.

Diez recomendaciones convierten un benchmark en un proceso de medición

Una evaluación de seguridad no se limita a comprobar capacidades. Pregunta si una respuesta aumenta el riesgo de daño y si el modelo actuó de forma adecuada en ese contexto. Anthropic recomienda combinar especialistas del ámbito y de metodología, definir de antemano qué se mide, preregistrar el análisis y documentar toda la configuración.

Las conversaciones sobre autolesiones muestran el problema. Una negativa automática puede parecer segura y, aun así, abandonar a una persona en crisis. Por eso la empresa evalúa conversaciones completas de varios turnos con rúbricas creadas por expertos, y un solo turno peligroso puede invalidar todo el intercambio.

Cambiar el grader o la configuración rompe la comparación

El prompt, el orden de las respuestas, el entorno del producto y el modelo que actúa como grader pueden alterar el resultado. Anthropic observó hasta 34 puntos porcentuales de diferencia entre la API y claude.ai al probar Claude Fable 5.1. Esas cifras no aíslan una diferencia del modelo porque cambiaron varias condiciones.

Los equipos que aprueban o compran un modelo deben conservar versiones de prompts y graders, parámetros de sampling y fechas. Sin esa trazabilidad, el panel de seguridad aporta color, pero poco valor de auditoría.

Los tests saturados y los graders confiados fabrican tranquilidad

Los modelos recientes de Anthropic obtienen entre un 94 % y un 98 % en pruebas agregadas de un solo turno, mientras que los escenarios de varios turnos presentan mucha más variación. La empresa recomienda al menos 100 casos para una evaluación compleja y 1.000 para una prueba sencilla de un turno. También exige contrastar el grader con etiquetas humanas y hacer visible cualquier fallo.

Una diferencia llamativa puede seguir siendo ruido. Opus 5 y Opus 5.5 obtuvieron un 98 % y un 94 % en una evaluación de estafas románticas, pero la diferencia no fue estadísticamente significativa.

La reproducibilidad y la incertidumbre publicada decidirán la credibilidad

La prueba útil consiste en que otro equipo pueda repetir la ejecución y llegar a una conclusión comparable. Anthropic recomienda publicar intervalos de confianza, resultados por categoría y cualquier desviación del plan preregistrado.

Para compradores y desarrolladores, este filtro vale más que otro ranking. Sin muestra, grader y entorno, una puntuación de seguridad es una afirmación del proveedor. Con ellos, puede sostener una decisión real de despliegue.

El veredicto de Lilith

Una puntuación de seguridad sin procedencia es como una muestra de laboratorio sin etiqueta: parece científica, pero ningún equipo sensato debería decidir con ella si despliega un modelo.