Astra zmieniła 0,016 % wag Qwena i podniosła MATH-500 z 7,9 % do 48,1 %

Rikiya Takehi, Jayden Teoh, Alex Zhang i Omar Khattab z MIT CSAIL przedstawili Weight-Space Programming. Model frontier otrzymuje dostęp do tensorów mniejszej sieci i na podstawie polecenia w języku naturalnym ma rozpoznać, naprawić lub stworzyć zachowanie przez bezpośrednią zmianę wag, bez gradient descent i zwykłej pętli treningowej.

Astra znalazła kierunek związany z pętlą i zmieniła 131 072 wagi

W głównym eksperymencie Astra pracowała z Qwen3.5-0.8B. Model często powtarzał tok rozumowania aż do limitu 32 768 tokenów. Astra powiązała problem z jednym kierunkiem w warstwach MLP 15 i 19, po czym zmieniła po 64 kolumny wyjściowe w każdej z nich. Łącznie objęło to 131 072 wagi, około 0,016 % z 0,8 miliarda.

Przy 50 forward passes wynik MATH-500 wzrósł z 7,9 % do 48,1 %, GSM8K z 13,8 % do 67,1 %, a IFEval z 21,0 % do 62,3 %. Udział odpowiedzi dochodzących do limitu tokenów spadł z 93,0 % do 33,1 %. Autorzy opublikowali blog techniczny i logi eksperymentów, a nie recenzowany paper.

Bezpośrednia korekta wag może skrócić drogę od diagnozy do naprawy

Typowy proces rozdziela interpretację, przygotowanie danych, trening i evals. Tutaj jeden model analizuje tensory, uruchamia ograniczone testy i proponuje małą zmianę. Jeśli wynik uda się odtworzyć, metoda może pomóc w naprawie konkretnych awarii, których skutki uboczne da się zmierzyć.

Pozostałe demonstracje obejmują rozpoznawanie prostych polityk na podstawie wag, korektę polityki sterowania przez zmianę 3,5 % parametrów oraz tworzenie małych sieci do gier. Dzisiejsza wartość praktyczna dotyczy więc niewielkich, obserwowalnych modeli, a nie autonomicznej przebudowy systemów frontier.

Duży wzrost wyniku wynika głównie z usunięcia patologicznej pętli

Początkowe 7,9 % w MATH-500 było nietypowo niskie, ponieważ 93 % odpowiedzi kończyło się na limicie tokenów. Zmiana przede wszystkim usunęła przeszkodę blokującą ukończenie odpowiedzi. Nie dowodzi, że Astra wpisała do Qwena nową zdolność matematyczną.

Bezpośrednia analiza gęstych reprezentacji wewnętrznych także wielokrotnie zawiodła w jednym eksperymencie, dopóki model nie użył sond aktywacyjnych. Metoda leży między mechanistic interpretability, automatycznym wyszukiwaniem interwencji i programowaniem wag. Nazwa opisuje dziś szerszą ambicję niż potwierdzony zakres.

Niezależne replikacje muszą zbadać przenoszenie i skutki uboczne

Kolejnym krokiem są reprodukcje na innych architekturach i typach awarii z wcześniej ustalonymi evals. Kluczowe będzie, czy podobna zmiana działa bez patologicznej pętli, utrzymuje wynik poza danymi kalibracyjnymi i nie psuje zdolności, które wcześniej działały.

W produkcji potrzebny byłby dokładny diff wag, możliwość wycofania zmiany, audyt każdego testu oraz porównanie z tańszą korektą dekodowania. Jeśli ten sam problem rozwiązuje ustawienie sampling, operacja w weight space może być efektowna, ale zbędna.

Werdykt Lilith

Astra nie wlała do Qwena nowej matematyki. Znalazła zablokowane koło, spiłowała 131 072 zęby i pozwoliła maszynie dojechać do odpowiedzi. Właśnie ta trzeźwiejsza wersja jest technicznie ciekawa.