Astra änderte 0,016 % der Qwen Gewichte und steigerte MATH-500 von 7,9 % auf 48,1 %

Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab vom MIT CSAIL stellen Weight-Space Programming vor. Ein Frontier Modell erhält Zugriff auf die Tensoren eines kleineren Netzes und soll anhand eines natürlichsprachlichen Ziels Verhalten erkennen, reparieren oder erzeugen, indem es Gewichte direkt ändert. Gradient Descent und ein normaler Trainingszyklus entfallen.

Astra fand die Richtung einer Schleife und änderte 131.072 Gewichte

Im wichtigsten Experiment arbeitete Astra mit Qwen3.5-0.8B. Das Modell wiederholte seine Überlegungen häufig bis zum Limit von 32.768 Token. Astra führte das Problem auf eine Richtung in den MLPs der Schichten 15 und 19 zurück und änderte jeweils 64 Ausgabespalten. Insgesamt waren es 131.072 Gewichte, etwa 0,016 % von 0,8 Milliarden.

Mit 50 Forward Passes stieg MATH-500 von 7,9 % auf 48,1 %, GSM8K von 13,8 % auf 67,1 % und IFEval von 21,0 % auf 62,3 %. Der Anteil der Antworten am Tokenlimit sank von 93,0 % auf 33,1 %. Veröffentlicht wurden ein technischer Blog und Versuchsprotokolle, kein begutachtetes Paper.

Direkte Gewichtsreparatur kann den Weg vom Befund zum Eingriff verkürzen

Ein üblicher Ablauf trennt Interpretation, Datenvorbereitung, Training und Evals. Hier analysiert ein Modell Tensoren, führt begrenzte Tests aus und schlägt einen kleinen Eingriff vor. Lässt sich das reproduzieren, könnte der Ansatz konkrete Fehler beheben, bei denen sich Nebenwirkungen messen lassen.

Weitere Demonstrationen erkennen einfache Strategien aus Gewichten, reparieren eine Steuerung durch Änderung von 3,5 % der Parameter und erzeugen kleine Netze für Spiele. Der praktische Wert liegt damit heute bei kleinen, gut beobachtbaren Modellen und nicht beim autonomen Umbau von Frontier Systemen.

Der große Score Sprung entfernte vor allem eine pathologische Schleife

Der Ausgangswert von 7,9 % bei MATH-500 war ungewöhnlich niedrig, weil 93 % der Antworten am Tokenlimit endeten. Der Eingriff entfernte vor allem ein Hindernis für vollständige Antworten. Er zeigt nicht, dass Astra Qwen neue mathematische Fähigkeiten eingeschrieben hat.

Auch die direkte Analyse dichter interner Repräsentationen scheiterte in einem Experiment mehrfach, bis das Modell Aktivierungssonden nutzte. Die Methode liegt zwischen mechanistic interpretability, automatisierter Suche nach Eingriffen und Gewichtsprogrammierung. Der Name beschreibt derzeit eine größere Ambition als den belegten Umfang.

Unabhängige Replikationen müssen Übertragung und Nebenschäden messen

Als Nächstes braucht es Reproduktionen auf anderen Architekturen und Fehlerarten mit vorab festgelegten Evals. Entscheidend ist, ob der Eingriff ohne pathologische Schleife funktioniert, außerhalb der Kalibrierungsdaten hält und bestehende Fähigkeiten bewahrt.

Für den Produktionseinsatz wären ein exakter Gewichts Diff, Rollback, die Prüfung jedes Tests und ein Vergleich mit günstigeren Decoding Änderungen nötig. Löst eine Sampling Einstellung denselben Fehler, kann der Eingriff im Weight Space eindrucksvoll und trotzdem überflüssig sein.

Liliths Urteil

Astra hat Qwen keine neue Mathematik eingefüllt. Sie fand ein blockiertes Zahnrad, feilte an 131.072 Zähnen und ließ die Maschine bis zur Antwort laufen. Gerade diese nüchterne Version ist technisch interessant.