AstraがQwenの重み0.016％を編集しMATH-500を7.9％から48.1％へ改善

MIT CSAILのRikiya Takehi、Jayden Teoh、Alex Zhang、Omar KhattabはWeight-Space Programmingを発表した。frontier modelに小規模ネットワークのtensorを渡し、自然言語の指示から挙動を識別、修復、生成させる。gradient descentや通常の学習工程を使わず、重みを直接変更する。

Astraはreasoning loopの方向を特定し13万1,072個の重みを変更した

主要実験ではQwen3.5-0.8BをAstraで分析した。Qwenは推論を繰り返し、3万2,768 tokenの上限に達することが多かった。Astraは問題を第15層と第19層のMLPが書き込む1方向に絞り、各層の出力列64本を変更した。合計13万1,072個で、8億個の重みの約0.016％に当たる。

50回のforward passで、MATH-500は7.9％から48.1％、GSM8Kは13.8％から67.1％、IFEvalは21.0％から62.3％に上がった。token上限に達した回答は93.0％から33.1％へ減った。公開物は技術ブログと実験ログで、査読済みpaperではない。

重みの直接修復は診断から介入までを短縮できる

通常は解釈、データ準備、学習、evalsを別工程で行う。今回は1つのモデルがtensorを分析し、回数を制限したテストを実行し、小さな変更を提案した。再現できれば、障害が明確で副作用を測れる場面の修復に役立つ。

他の実演には、重みから単純なpolicyを特定すること、parameterの3.5％を変えて制御policyを直すこと、小規模なゲーム用ネットワークを生成することが含まれる。現時点の実用価値は、frontier systemの自律的な再構築より、小さく観察しやすいモデルにある。

スコアの大幅改善は主に病的なloopの除去だった

MATH-500の初期値7.9％が異常に低いのは、回答の93％がtoken上限で終わったためだ。変更は回答完了を妨げる障害を主に取り除いた。AstraがQwenに新しい数学能力を書き込んだことを示す結果ではない。

また、密な内部表現の直接解釈は、activation probeを使うまで繰り返し失敗した実験もある。この手法はmechanistic interpretability、自動介入探索、重みのprogrammingの間に位置する。名称が示す構想は、実証された範囲より広い。

独立再現では転用性と副作用を測る必要がある

次は、事前に決めたevalsを使い、別のarchitectureと障害で再現する必要がある。病的なloopがない場合にも効くか、調整用データの外でも維持されるか、既存能力を壊さないかが重要になる。

本番利用には、重みの正確なdiff、rollback、全テストの監査、より安価なdecoding変更との比較が欠かせない。samplingの調整で同じ問題が直るなら、weight spaceの操作は印象的でも不要かもしれない。

Lilithの判定

AstraがQwenに新しい数学を注ぎ込んだわけではない。詰まった歯車を見つけ、13万1,072個の歯を削り、機械を答えまで動かした。この控えめな説明こそ技術的に面白い。