StateBench demuestra que un contexto largo no equivale a memoria fiable

Ai2 ha publicado StateBench, un benchmark para seguir estados cambiantes en contextos largos. La tarea se parece a leer código, una hoja de cálculo o una historia: tras muchas modificaciones, el modelo debe determinar el valor final o dónde ha acabado un objeto o personaje.

Cuatro niveles separan la búsqueda de datos del seguimiento real del estado

El benchmark comienza con valores inmutables, continúa con sustituciones por el último valor y añade actualizaciones derivadas del estado anterior. En el nivel más difícil, una variable puede adoptar el valor de otra. El modelo debe seguir una cadena de dependencias y no limitarse a localizar la última mención.

Ai2 evaluó Gemini 3.8 Flash, Claude Opus 5.5 y dos variantes de GPT-6, Sol y Luna. Los niveles sencillos funcionaron bien. En tareas largas con actualizaciones autorreferenciales y dependencias entre variables, la precisión cayó con fuerza. Los cuatro modelos obtuvieron un 13% o menos en las tareas más largas del nivel más difícil.

Un agente debe conservar el estado, no solo aceptar un prompt largo

Un context window grande indica cuántos tokens admite el modelo. No demuestra que incorpore correctamente cada cambio al estado final. La diferencia importa para agentes que trabajan con código, contratos extensos, historiales de clientes o planes de varios pasos.

El resultado también descubre una debilidad de las pruebas de retrieval habituales. Un modelo puede encontrar un dato aislado y fallar cuando el valor correcto depende de una serie de operaciones previas. Los evals de producto deben medir cambios a lo largo del tiempo y no solo búsquedas de una aguja en un pajar.

Las variables sintéticas no son un contrato largo ni un agente real

StateBench es un benchmark controlado con un número fijo de variables. Los documentos reales incorporan nuevas personas, objetos y reglas. Los autores reconocen que el marco actual no cubre ese caso. También influye el formato: modelos híbridos pequeños casi acertaron todo en formato RULER, pero quedaron cerca del azar cuando el mismo problema apareció como ediciones de una hoja de cálculo.

Los resultados por arquitectura tampoco forman un ranking de productos. Los modelos Gated DeltaNet e híbridos entrenados directamente en la tarea resolvieron casi a la perfección los tres primeros niveles hasta 64.000 cambios. Recibieron un entrenamiento muy específico que los modelos pretrained no tuvieron.

Los cambios de estado propios de cada producto revelarán el fallo práctico

Los equipos deberían convertir su workflow en una secuencia de cambios concretos y comprobar el estado final tras decenas o cientos de pasos. En un agente de coding pueden ser símbolos renombrados y dependencias que cambian. En contratos, anexos que sustituyen cláusulas anteriores.

La siguiente señal útil será una réplica independiente y la mejora de arquitecturas híbridas sin entrenamiento estrecho para el benchmark. Solo entonces podrá separarse una capacidad general de un truco bien ensayado.

El veredicto de Lilith

Un modelo puede tener delante toda la novela y aun así perder el cuchillo que cambió de manos tres capítulos antes. Un context window grande amplía el escenario, pero no vigila el atrezo.