Qwen erkannte drei Spielnetze direkt aus ihren Gewichten

Qwen 3.8 27B erkannte auf einem Laptop drei von vier kleinen neuronalen Netzen korrekt anhand ihrer Gewichte, ohne Code auszuführen oder einen Rechner zu nutzen. Simon Willison wiederholte damit einen Teil des Weight Space Programming Experiments mit einem lokalen Modell von 17 GB.

Drei erkannte Spiele zeigen ein lesbares Signal in Modellgewichten

Die Autoren der ursprünglichen Arbeit trainierten vier Netze für vereinfachte Varianten von Breakout, Pong, Pac Man und Freeway auf einem Raster von 10 mal 10 Feldern. Das Modell erhielt jedes Mal dieselbe Frage und eine andere Liste von Gewichtswerten. Werkzeuge oder Code durfte es nicht ausführen.

Willisons Qwen erkannte Pac Man in 46 Minuten und 12 Sekunden nach 43.506 Reasoning Tokens. Für Pong benötigte es 1 Stunde, 4 Minuten und 54 Sekunden, für Breakout 52 Minuten und 25 Sekunden. Bei Freeway lag es falsch und beschrieb das Spiel als Pac Man Variante.

Die ursprüngliche Arbeit geht weiter. In einem anderen Experiment änderte GPT 6 Astra 0,016 % der Gewichte von Qwen3.5 0.8B und steigerte dessen MATH 500 Ergebnis von 7,9 % auf 48,1 %. Dieser Versuch nutzte Python und Forward Passes und darf deshalb nicht mit dem direkten Lesen von Zahlen im Prompt vermischt werden.

Modellinterpretation muss Lesen und Bearbeiten der Gewichte trennen

Das Verhalten eines kleinen Netzes direkt aus seinen Gewichten abzuleiten, könnte Mechanistic Interpretability ergänzen. Forschende bekämen einen weiteren Weg, um gelernte Eigenschaften oder Fehler ohne einen üblichen Evaluationslauf zu suchen. Willisons Versuch deutet zudem darauf hin, dass ein erster Ansatz dieser Fähigkeit nicht auf das teuerste geschlossene Modell beschränkt ist.

Die Unterscheidung ist entscheidend. Eine statische Gewichtsliste ohne Werkzeuge zu lesen und ein Modell mit Python zu verändern, sind unterschiedliche Fähigkeiten. Matthew Honnibal kritisierte die ursprüngliche Arbeit dafür, beides zusammenzuführen. Sean Goedecke wies darauf hin, dass die Bearbeitung von Qwen den Schritten eines menschlichen ML Forschers ähnelt.

Vier winzige Netze belegen kein allgemeines Modellverständnis

Das Experiment umfasst vier kleine Netze und eine bekannte Auswahl aus vier Spielen. Drei Treffer und ein Fehler reichen nicht für die Behauptung, LLMs würden Gewichte allgemein verstehen. Die erfolgreichen Läufe dauerten außerdem 46 bis 65 Minuten und brauchten ein längeres Context Window, weil die voreingestellten 8.192 Tokens nicht genügten.

Eine richtige Bezeichnung zeigt auch nicht, ob das Modell eine stabile interne Darstellung des Spiels fand oder genügend Hinweise für eine gute Vermutung zusammensetzte. Bei Freeway erzeugte dasselbe Verfahren einen plausibel klingenden Fehler.

Blinde Tests über mehrere Architekturen entscheiden über den Nutzen

Als Nächstes braucht es einen größeren Benchmark mit unbekannten Netzen, mehreren Architekturen und Aufgaben ohne kurze Liste vertrauter Antworten. Gemessen werden sollten auch Wiederholbarkeit, Zeit, Tokenverbrauch und die Frage, ob eine Erklärung das Verhalten des Netzes in einem neuen Test vorhersagt.

Praktisch wird die Methode, wenn die Gewichtsanalyse einen Fehler findet, den übliche Evals übersehen, und ein anderes Team das Ergebnis reproduziert. Bis dahin bleibt sie eine vielversprechende Laborspur und nicht das Ende des Quellcodes.

Liliths Urteil

Qwen bekam einen Zahlenberg und zog dreimal den richtigen Spielbildschirm daraus hervor. Solange das bei einem unbekannten Netz nicht ebenso zuverlässig gelingt, behält der Forscher sein Laborbuch in der Hand.