2026-11-12 · ← Noticias
Anthropic aceleró 1,9 veces el desarrollo de modelos, pero oculta pruebas clave
METR estima que las capacidades de los modelos internos de Anthropic crecen desde octubre de 2025 a un ritmo 1,9 veces mayor y que el uso de AI en investigación explica probablemente la mayor parte de la aceleración. El resultado importa, pero también depende de pruebas censuradas por Anthropic.
No se pudo cargar la imagen.
METR obtuvo durante 11 semanas un acceso inusualmente amplio a datos internos de Anthropic para estudiar si la AI acelera el desarrollo de modelos posteriores. El informe respalda la intuición de que un salto de calidad puede sentirse en el trabajo diario antes de aparecer en benchmarks públicos. También explica por qué esa impresión no basta.
Los benchmarks internos avanzan 1,9 veces más rápido
METR trabajó del 12 de agosto al 29 de octubre de 2026. Su análisis de AECI concluye que desde octubre de 2025 las puntuaciones de modelos internos crecen a 1,9 veces el ritmo anterior, con un intervalo de confianza del 95 % entre 1,5 y 2,8. Las pruebas de robustez ampliaron el rango de 1,1 a 2,9.
Los evaluadores creen que la mayor parte de la aceleración actual, quizá cerca del 80 %, procede del uso de AI en investigación y desarrollo. Las entrevistas indican que todavía pesa más la asistencia a personas que las contribuciones totalmente autónomas en las partes decisivas del entrenamiento.
El vibe-testing detecta el salto, pero no explica su causa
Ethan Mollick sostuvo que el resultado valida la evaluación basada en la experiencia y señaló que Claude 3.7 Sonnet superó claramente las expectativas en 2025. Ese juicio puede detectar pronto un cambio de utilidad. Sin embargo, no separa un modelo mejor de un agent scaffolding mejor, un inference budget mayor o una mezcla distinta de tareas.
METR intentó distinguir esos factores con benchmarks, datos internos y entrevistas. La lección para equipos de producto es clara: la experiencia subjetiva sirve como alarma, pero mide mal.
Anthropic censuró la mayoría de las pruebas decisivas
Anthropic podía retirar información no pública y, según METR, censuró la mayoría de las pruebas que más influyeron en las conclusiones de riesgo. El público no puede revisar de forma independiente una parte crucial del argumento. METR tampoco tuvo acceso directo a modelos no publicados y utilizó Claude en gran parte de su análisis.
AECI se centra en tareas verificables y bien definidas. El resultado no equivale automáticamente a la misma aceleración en investigación ambigua ni a productividad empresarial.
La siguiente medición debe separar modelo, workflow y trabajo humano
Harán falta mediciones repetidas con modelos nuevos, un método fijado de antemano y menos control del proveedor sobre las pruebas publicables. Las empresas deben contrastar las impresiones con experimentos terminados, tiempo de review, retrabajo y coste total. Esa combinación mostrará si la investigación avanza realmente más rápido.
El veredicto de Lilith
El vibe-testing nota que el tren arranca. METR añadió el velocímetro, pero Anthropic tapó parte de la esfera con cinta negra.