Astra upravila 0,016 % vah Qwenu a zvedla MATH-500 ze 7,9 % na 48,1 %

Rikiya Takehi, Jayden Teoh, Alex Zhang a Omar Khattab z MIT CSAIL představili Weight-Space Programming. Frontier model dostane přístup k tensorům menší sítě a z přirozeného zadání má její chování rozpoznat, opravit nebo vytvořit přímo změnou vah, bez gradient descent a běžného trénovacího cyklu.

Astra našla směr spojený s loopem a změnila 131 072 vah

V hlavním experimentu pracovala Astra s Qwen3.5-0.8B. Model často opakoval reasoning až do limitu 32 768 tokenů. Astra vystopovala problém k jednomu směru v MLP vrstvách 15 a 19 a upravila 64 výstupních sloupců v každé z nich. Celkem změnila 131 072 vah, tedy přibližně 0,016 % z 0,8 miliardy.

Při 50 forward passes vzrostlo skóre MATH-500 ze 7,9 % na 48,1 %, GSM8K z 13,8 % na 67,1 % a IFEval z 21,0 % na 62,3 %. Podíl odpovědí, které narazily na tokenový limit, klesl z 93,0 % na 33,1 %. Autoři zveřejnili technický blog a experimentální logy, nejde zatím o recenzovaný paper.

Přímá oprava vah může zkrátit cestu od diagnózy k zásahu

Běžný postup odděluje interpretaci, přípravu dat, trénink a evals. Tady jeden model analyzuje tensory, spouští omezené testy a navrhne malý zásah. Pokud se přístup potvrdí, může být užitečný pro opravy konkrétních poruch, kde známe selhání a umíme měřit vedlejší škody.

Další demonstrace zahrnují rozpoznávání jednoduchých politik z vah, úpravu řídicí politiky změnou 3,5 % parametrů a tvorbu malých herních sítí. Praktická hodnota proto dnes leží hlavně u malých, dobře pozorovatelných modelů, ne u autonomní přestavby frontier systémů.

Velké zlepšení skóre hlavně odstranilo patologický loop

Výchozích 7,9 % na MATH-500 bylo neobvykle nízké, protože 93 % odpovědí končilo na tokenovém limitu. Zásah tedy především odstranil překážku, která modelu bránila dokončit odpověď. Výsledek nedokazuje, že Astra do Qwenu zapsala novou matematickou schopnost.

Přímé čtení hustých vnitřních reprezentací navíc v jednom experimentu opakovaně selhalo, dokud model nepoužil aktivační sondy. Metoda tak stojí mezi mechanistic interpretability, automatizovaným hledáním zásahu a programováním vah. Její název zatím pokrývá širší ambici než ověřený rozsah.

Nezávislé replikace musí změřit přenos i vedlejší škody

Dalším krokem jsou reprodukce na jiných architekturách a poruchách, ideálně s předem stanovenými evals. Důležité bude, zda stejný typ zásahu funguje bez patologického loopu, drží na datech mimo kalibrační sadu a nezhorší schopnosti, které původně fungovaly.

Pro produkční použití bude nutný přesný diff vah, možnost návratu, audit každého testu a porovnání s levnějšími zásahy do dekódování. Pokud změna sampling nastavení vyřeší stejný problém, operace ve weight space může být působivá a přitom zbytečná.

Lilithin verdikt

Astra do Qwenu nenalila novou matematiku. Našla zaseknuté kolečko, obrousila 131 072 zubů a stroj konečně dojel k odpovědi. Právě tahle střízlivější verze je technicky zajímavá.