Ya no basta con juzgar a un agente por el resultado. Un artículo liderado por Princeton recoge 33 tendencias de evaluación

El grupo de Arvind Narayanan y Sayash Kapoor en Princeton, junto a coautores de Stanford, el AI Security Institute británico y Brookings, ha publicado Emerging Trends in AI Agent Evaluation. El artículo describe 33 tendencias y propone preguntas para evaluadores, financiadores y público cuando alguien les enseña la puntuación de un agente.

La puntuación en un benchmark dice cada vez menos de un agente

Los autores parten de unos tres años de trabajo propio sobre evaluación de agentes. Ordenan las tendencias en tres planos: la ciencia y los métodos, la agenda de investigación y el ecosistema de personas e instituciones que evalúan.

El problema central lo plantean sin rodeos. Con un modelo bastaba comparar respuestas. Con un agente, el evaluador tiene que revisar toda la trayectoria: qué herramientas usó, si tomó atajos y qué componente explica de verdad el acierto o el fallo. Evaluar algunos agentes en el benchmark ExploitBench costó decenas de miles de dólares en créditos, sin contar el trabajo de ingeniería para montar y mantener la infraestructura.

Además, los agentes generan tantos registros que nadie puede leerlos todos a mano. Al investigar a posteriori el incidente de OpenAI y Hugging Face, los evaluadores recurrieron a otros agentes para localizar acciones dañinas, y reconocieron que ese método tiene sus propios límites y sesgos.

Lo que funciona en el laboratorio no llega solo a la empresa

El artículo insiste en que la evidencia de un nivel no se traslada automáticamente al siguiente. Un agente puede resolver una tarea en el laboratorio y atascarse en una empresa concreta. Los autores citan el ensayo controlado aleatorizado de METR, en el que desarrolladores open source experimentados tardaron un 19 % más en terminar sus tareas con herramientas de IA, pese a esperar lo contrario.

Para una empresa que compra agentes, la lección es práctica. La cifra de un leaderboard es solo el punto de partida. Quien quiera saber si un agente ahorra trabajo a su equipo tiene que medirlo en su propio proceso. Los autores añaden una elección de enfoque: preguntar si el agente automatiza una tarea o si ayuda a una persona a hacerla mejor. Si casi todo mide lo primero, sabremos a quién se puede sustituir, pero no cómo trabajar mejor con agentes.

La independencia de los evaluadores empieza por el dinero y el acceso

La parte más afilada trata de quién puede evaluar. Si probar agentes punteros es cada vez más caro, el presupuesto decide qué equipos independientes participan. También pesa el acceso a los modelos. Los laboratorios publican ahora versiones resumidas del chain of thought en lugar de los registros brutos, así que el evaluador externo ve menos que el equipo interno. Los autores mencionan además el miedo a represalias y la duda de cómo publicar los resultados con transparencia.

Aquí está el punto débil del artículo. Sus recomendaciones para laboratorios, financiadores, gestores de leaderboards y reguladores se presentan como oportunidades y necesidades. No hay ningún mecanismo que obligue a un laboratorio a abrir sus registros brutos. Quien espere un benchmark nuevo o mediciones inéditas encontrará un mapa del terreno.

Leaderboards con precio y registros brutos dirán si el campo avanza

La primera señal serán los leaderboards. Los autores quieren que sus gestores ayuden al público a entender el coste creciente de evaluar. Si junto a la puntuación aparece el precio de cada ejecución, el comprador verá cuánto cuesta comprobar lo que promete el proveedor. La segunda señal es si los equipos externos acceden a las trayectorias brutas de los agentes.

La tercera prueba está en el sector público. Los autores piden que la evaluación forme parte de los despliegues estatales desde el primer día y que los AI Security Institutes abran el proceso a nuevos participantes. Si dentro de un año los agentes los sigue evaluando sobre todo quien los vende, el artículo se quedará en una advertencia bien escrita.

El veredicto de Lilith

Hoy el agente se presenta a exámenes que a menudo redactó y pagó su propio fabricante, y el examinador externo solo puede ojear un resumen de su cuaderno. Mientras eso no cambie, lea cada puntuación como un boletín de notas firmado por los padres.