Astra editó el 0,016 % de los pesos de Qwen y elevó MATH-500 del 7,9 % al 48,1 %

Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, de MIT CSAIL, han presentado Weight-Space Programming. Un modelo frontier accede a los tensores de una red menor y debe identificar, reparar o crear un comportamiento a partir de una instrucción, modificando directamente los pesos sin gradient descent ni un ciclo de entrenamiento convencional.

Astra localizó un bucle de razonamiento y cambió 131.072 pesos

El experimento principal aplicó Astra a Qwen3.5-0.8B. El modelo repetía a menudo el razonamiento hasta el límite de 32.768 tokens. Astra vinculó el problema con una dirección en los MLP de las capas 15 y 19 y modificó 64 columnas de salida en cada una. En total cambió 131.072 pesos, cerca del 0,016 % de 0,8 mil millones.

Con 50 forward passes, MATH-500 subió del 7,9 % al 48,1 %, GSM8K del 13,8 % al 67,1 % e IFEval del 21,0 % al 62,3 %. Las respuestas que agotaban el límite bajaron del 93,0 % al 33,1 %. Los autores han publicado un blog técnico y registros experimentales, no un paper revisado por pares.

Reparar pesos directamente puede acortar el camino desde el diagnóstico

Un proceso convencional separa interpretación, preparación de datos, entrenamiento y evals. Aquí un modelo analiza tensores, ejecuta pruebas limitadas y propone una intervención pequeña. Si se reproduce, podría servir para fallos concretos cuyo daño colateral pueda medirse.

Otras demostraciones incluyen identificar políticas sencillas a partir de pesos, reparar una política de control cambiando el 3,5 % de sus parámetros y generar redes pequeñas para juegos. El valor práctico actual se concentra en modelos pequeños y observables, no en reconstruir de forma autónoma sistemas frontier.

La gran mejora eliminó sobre todo un bucle patológico

El 7,9 % inicial en MATH-500 era anormalmente bajo porque el 93 % de las respuestas acababa en el límite de tokens. La edición quitó principalmente un obstáculo que impedía terminar. No demuestra que Astra escribiera una nueva capacidad matemática en Qwen.

La lectura directa de representaciones internas densas también falló varias veces en un experimento hasta que el modelo usó sondas de activación. El método queda entre mechanistic interpretability, búsqueda automatizada de intervenciones y programación de pesos. El nombre abarca por ahora una ambición mayor que el alcance demostrado.

Las réplicas independientes deben medir transferencia y daños laterales

El siguiente paso es reproducir el resultado en otras arquitecturas y fallos con evals definidos de antemano. Importa comprobar si funciona sin un bucle patológico, se mantiene fuera de los datos de calibración y conserva las capacidades que ya funcionaban.

Un uso en producción exigiría un diff exacto de pesos, rollback, auditoría de cada prueba y comparación con cambios de decodificación más baratos. Si un ajuste de sampling resuelve el mismo fallo, una operación en weight space puede ser llamativa y a la vez innecesaria.

El veredicto de Lilith

Astra no vertió matemáticas nuevas dentro de Qwen. Encontró un engranaje atascado, limó 131.072 dientes y dejó que la máquina llegara a la respuesta. Esa versión más sobria es la interesante.