Lilith.
⌕
Ilustración editorial: SatBench da por superados el 63 % de los benchmarks, pero las pruebas independientes solo el 24 %
Ilustración de Lilith · remezcla editorial

SatBench calcula que 109 de 173 benchmarks de AI citados con frecuencia han superado el umbral del 85 %. El mismo conjunto de datos arroja un 24 % si se limita a evaluaciones independientes, de modo que la cifra principal también refleja con qué frecuencia los laboratorios puntúan sus propios modelos.

El índice ganó 20 puntos porcentuales en un año

Ethan Mollick construyó SatBench a partir de los datos de Benchmark Almanac. Incluye benchmarks citados en al menos 10 publicaciones de lanzamiento de laboratorios de AI y expresados como porcentajes donde un valor más alto es mejor. Una prueba se considera superada cuando la mejor puntuación comunicada alcanza el 85 %.

El índice estaba en el 31 % en enero de 2025, en el 46 % en enero de 2026 y ahora llega al 63 %. Esto supone un aumento de 20 puntos porcentuales en los últimos 12 meses. Para los benchmarks publicados en 2025, la mediana de tiempo hasta alcanzar el 85 % bajó a unos 14 meses, frente a unos 20 meses en las cohortes de 2023 y 2024.

Los marcadores envejecen antes que las decisiones de compra

Para los equipos que eligen un modelo, la velocidad a la que caduca un benchmark importa más que la clasificación de los laboratorios. Cuando la mayoría de los modelos se concentra en la parte alta de la escala, la prueba deja de distinguir candidatos y una puntuación antigua dice poco sobre un despliegue nuevo.

Los laboratorios responden incorporando pruebas más difíciles. Su conjunto de trabajo actual se mantiene en un 45 % de tareas superadas porque las publicaciones de lanzamiento añaden tareas nuevas de agentes y trabajo. Una compra sensata exige evals internos con datos reales, precio, latencia y los fallos que de verdad perjudican al equipo.

El umbral del 85 % mezcla evidencias incompatibles

La cifra del 63 % combina leaderboards oficiales, distintos harnesses, tool use y afirmaciones de los propios laboratorios. De los 100 primeros casos que superaron el 85 %, 75 procedían del anuncio del fabricante y solo 10 de esos 75 fueron igualados después por una evaluación independiente. Si se usan únicamente ejecuciones independientes, el índice queda en el 24 %.

El resultado también depende mucho de la definición. Un umbral del 75 % produce un 82 %, mientras que uno del 95 % produce un 25 %. Los benchmarks nuevos solo entran tras aparecer en 10 publicaciones de lanzamiento, por lo que las pruebas difíciles publicadas este año están infrarrepresentadas.

Las réplicas independientes y las pruebas de trabajo decidirán

La señal útil será el aumento de resultados replicados de forma independiente, no otro umbral superado. Si la diferencia entre el 63 % y el 24 % empieza a cerrarse, la afirmación de que los benchmarks se agotan con rapidez ganará mucha fuerza.

Conviene vigilar especialmente la categoría de trabajo, donde SatBench registra solo un 18 % resuelto, y las tareas de agentes, con un 45 %. Pueden mostrar si los modelos avanzan más allá de pruebas parecidas a preguntas de examen.

El veredicto de Lilith

Los laboratorios corrigieron su propio examen y dieron por resuelto el 63 % de las preguntas. El profesor independiente solo ha marcado el 24 %, así que la fiesta de graduación de los benchmarks puede esperar.