Qwen leyó los pesos de tres redes de juego en un portátil

Qwen 3.8 27B ejecutado en un portátil identificó correctamente tres de cuatro redes neuronales pequeñas a partir de sus pesos, sin ejecutar código ni usar calculadora. Simon Willison reprodujo una parte del experimento Weight Space Programming con un modelo local de 17 GB.

Tres juegos acertados muestran que un modelo local puede leer señales en los pesos

Los autores del trabajo original entrenaron cuatro redes para versiones simplificadas de Breakout, Pong, Pac Man y Freeway en una cuadrícula de 10 por 10. El modelo recibió la misma pregunta cada vez y una lista distinta de pesos. No podía ejecutar herramientas ni código.

El Qwen de Willison identificó Pac Man en 46 minutos y 12 segundos tras consumir 43.506 tokens de razonamiento. Reconoció Pong en 1 hora, 4 minutos y 54 segundos y Breakout en 52 minutos y 25 segundos. Falló con Freeway y lo describió como una variante de Pac Man.

El trabajo original llega más lejos. En otro experimento, GPT 6 Astra modificó el 0,016 % de los pesos de Qwen3.5 0.8B y elevó su resultado en MATH 500 del 7,9 % al 48,1 %. Esa prueba utilizó Python y forward passes, por lo que no debe confundirse con leer números directamente en un prompt.

Interpretar modelos exige separar la lectura de pesos de su modificación

Inferir el comportamiento de una red pequeña directamente a partir de sus pesos podría complementar mechanistic interpretability. Ofrecería a los investigadores otra forma de buscar una propiedad aprendida o un fallo sin una evaluación convencional. La prueba de Willison también sugiere que el primer indicio de esta capacidad no está limitado al modelo cerrado más caro.

La distinción es crucial. Leer una lista estática de pesos sin herramientas y cambiar un modelo con Python son capacidades distintas. Matthew Honnibal criticó el trabajo original por mezclarlas y Sean Goedecke señaló que el procedimiento para editar Qwen se parece a los pasos de un investigador humano de ML.

Cuatro redes diminutas no demuestran una comprensión general

El experimento cubre cuatro redes pequeñas y una elección conocida entre cuatro juegos. Tres aciertos y un fallo son una muestra demasiado reducida para afirmar que los LLM entienden los pesos en general. Los casos correctos tardaron entre 46 y 65 minutos y necesitaron un context window mayor porque los 8.192 tokens predeterminados no bastaban.

Una etiqueta correcta tampoco revela si el modelo encontró una representación interna estable del juego o reunió suficientes pistas para formular una buena conjetura. Con Freeway, el mismo proceso produjo un error convincente.

Las pruebas ciegas con más arquitecturas decidirán su utilidad

El siguiente paso necesita un benchmark mayor con redes desconocidas, varias arquitecturas y tareas sin una lista corta de opciones familiares. También habrá que medir la repetibilidad, el tiempo, el uso de tokens y si la explicación predice el comportamiento de la red en una prueba nueva.

La técnica tendrá valor práctico si el análisis de pesos encuentra un fallo que los evals habituales pasan por alto y otro equipo reproduce el resultado. Hasta entonces es una pista prometedora de laboratorio, no el final del código fuente.

El veredicto de Lilith

Qwen recibió una montaña de números y extrajo de ella la pantalla correcta tres veces. Hasta que repita la hazaña con una red desconocida, el investigador mantendrá su cuaderno a mano.