Artificial Analysis ocultó sus pruebas y la brecha de los modelos abiertos saltó de 3 a 12 puntos

Artificial Analysis publicó el 27 de octubre su Intelligence Index v5. Por primera vez, la mayor parte del peso, un 60 %, recae en evaluaciones con conjuntos de prueba privados o respuestas ocultas. El mejor modelo abierto queda ahora a 12 puntos del líder. En la versión 4.3 la distancia era de 3.

El nuevo índice elimina GDPval-AA y mide una brecha cuatro veces mayor

La empresa retiró del índice GDPval-AA v2.1, SciCode y AA-LCR. Añadió FrontierCode 2.0, el benchmark privado de Cognition con 132 tareas en repositorios open source reales, que solo puntúa un cambio que el responsable del repositorio aceptaría. La segunda novedad es Terminal-Bench-Science, con 70 tareas científicas en una terminal. Humanity's Last Exam deja paso a HLE-Diamond, una versión depurada de 1000 preguntas. El índice tiene ahora cuatro partes con el mismo peso, un 25 % cada una: trabajo del conocimiento, programación, ciencia y conocimiento general.

Lidera Claude Opus 5.5 (max) con 58 puntos, seguido muy de cerca por GPT-6 Astra con 57 y GPT-6.1 Sol con 55. Anthropic y OpenAI ocupan los cinco primeros puestos, y Gemini 4 Argon obtiene 50. El mejor modelo abierto, Kimi K3.1 Pro, logra 46 puntos, pero sus pesos todavía no se han publicado. Entre los modelos que de verdad se pueden descargar, encabezan DeepSeek V4.1 Flash 1017 y GLM-5.3 con 32. Son 26 puntos menos que el líder y menos que el pequeño modelo cerrado Claude Haiku 5.5, con 36.

Donde peor les fue a los modelos abiertos es en Terminal-Bench-Science. GPT-6 Astra resuelve allí el 63 % de las tareas, Kimi K3.1 Pro el 34 % y DeepSeek V4.1 Flash el 13 %. La mayoría de los demás modelos abiertos se quedó por debajo del 10 %. Ethan Mollick comentó en X que el resultado hay que tomarlo con cautela, pero que encaja con la impresión general de que aún no ha aparecido un modelo abierto de la categoría de Fable.

Quien contaba con un sustituto abierto barato debe recalcular el coste por tarea

Hasta hace poco se repetía que los modelos abiertos iban unos tres meses por detrás de la vanguardia cerrada. Nathan Lambert lo defendió en una conferencia de la que ya hablamos, apoyándose precisamente en datos de Artificial Analysis. El nuevo índice debilita ese consuelo: en tareas agénticas, donde un modelo tiene que encadenar decenas de pasos en una terminal, la diferencia es mucho mayor que en las pruebas de conocimiento.

Para las empresas que se plantean alojar modelos propios por coste, importa más otra cifra. GPT-6.1 Sol (max) queda a 4 puntos de Opus y cuesta 1,27 dólares por tarea del índice, frente a los 10,04 de Opus. Una opción cerrada barata le quita a los modelos abiertos su principal argumento de precio. Los pesos abiertos siguen justificándose donde mandan la privacidad de los datos, el funcionamiento sin conexión o el fine-tuning propio. Como copia barata de la vanguardia para trabajo agéntico, de momento no se sostienen.

El índice también muestra que el nivel de esfuerzo pesa más que antes. Opus 5.5 obtiene 35 puntos con esfuerzo bajo y 58 con el máximo, a un coste diez veces mayor (0,98 frente a 10,04 dólares). La mediana de tokens de salida por tarea subió de 35 000 a 59 000. Quien compara modelos por el precio por millón de tokens solo ve la mitad de la factura.

La brecha se mide con otra vara, así que parte del salto lo fabrica la metodología

Comparar 3 puntos con 12 es comparar dos reglas distintas. Las versiones 4.3 y v5 usan pruebas distintas, pesos distintos y una proporción distinta de trabajo agéntico. El paso a conjuntos privados limita además los casos en que un modelo vio las preguntas públicas durante el entrenamiento. Si los modelos abiertos se beneficiaban de eso más que los cerrados, parte de la pequeña brecha anterior era una ilusión. Pero es una hipótesis: Artificial Analysis no la comprobó ni ha publicado un desglose de los mismos modelos en ambas versiones que lo demuestre.

Los conjuntos privados tienen además su cara oculta. Nadie desde fuera puede reproducir los resultados, y todo el panorama depende de una sola empresa y de su harness Stirrup. FrontierCode pertenece además a Cognition, que vende su propio agente de programación. Los modelos abiertos suelen estar ajustados para otros entornos, de modo que parte de la caída puede deberse al harness y no a los pesos.

Lo decidirán los pesos de Kimi K3.1 Pro y una segunda medición independiente

La primera prueba llegará pronto. Según su anuncio anterior, Moonshot prometió publicar los pesos completos de Kimi K3.1 Pro antes del 4 de noviembre. Entonces se verá si el mejor modelo abierto mantiene sus 46 puntos en otras manos y si la distancia con la vanguardia se estabiliza de verdad en torno a 12 puntos.

La segunda señal será si alguien más mide una caída parecida, por ejemplo Epoch AI, en cuyo trabajo se basó Artificial Analysis para su nuevo Progress Index. Si el próximo DeepSeek o GLM saca Terminal-Bench-Science de las cifras de un dígito, el debate volverá a hablar de meses. Si no, las empresas comprarán modelos abiertos por el control sobre sus datos, no por su rendimiento.

El veredicto de Lilith

Artificial Analysis guardó el examen en una caja fuerte y, de la noche a la mañana, la distancia de los modelos abiertos con el primero de la clase se multiplicó por cuatro. Hasta que otro salga con su propio juego de preguntas, no sabremos si los alumnos empeoraron o si antes simplemente conocían las preguntas.