QwenがノートPC上で3つのゲーム用ネットワークの重みを読んだ

ノートPCで動かしたQwen 3.8 27Bは、コードも計算機も使わず、生の重みから4つの小規模ニューラルネットワークのうち3つを正しく識別した。Simon Willisonは、17 GBのローカルモデルでWeight Space Programming実験の一部を再現した。

3つの正解はローカルモデルも重みの信号を読めることを示した

元の研究では、10×10のグリッド上でBreakout、Pong、Pac Man、Freewayの簡略版をプレイする4つのネットワークを学習させた。モデルには毎回同じ質問と、異なる重みの数値列が渡された。ツールやコードの実行は禁止された。

WillisonのQwenは43,506個のreasoning tokenを使い、46分12秒でPac Manを特定した。Pongには1時間4分54秒、Breakoutには52分25秒かかった。Freewayでは失敗し、Pac Manに似たゲームだと説明した。

元の研究はさらに踏み込んでいる。別の実験でGPT 6 AstraはQwen3.5 0.8Bの重みの0.016%を変更し、MATH 500のスコアを7.9%から48.1%へ高めた。ただし、この実験はPythonとforward passを使っており、prompt内の数値を直接読む実験とは分けて考える必要がある。

モデル解釈では重みを読む能力と編集する能力を分けるべきだ

小規模ネットワークの挙動を重みから直接推定できれば、mechanistic interpretabilityを補完できる。通常の評価を走らせずに、学習された性質や不具合を探す別の手段になる可能性がある。Willisonの試験は、この能力の初期的な兆候が最も高価な非公開モデルだけのものではないことも示唆する。

ただし区別は重要だ。ツールなしで静的な重みの一覧を読むことと、Pythonでモデルを変更することは別の能力である。Matthew Honnibalは元の研究が両者を混同していると批判し、Sean GoedeckeはQwenの編集手順が人間のML研究者の作業に似ていると指摘した。

4つの小規模ネットワークでは一般的な理解を証明できない

対象は4つの小規模ネットワークで、答えも既知の4ゲームから選ぶ形式だった。3回の成功と1回の失敗だけでは、LLMが重みを一般的に理解できるとは言えない。成功例にも46分から65分かかり、標準の8,192 tokenでは足りず、長いcontext windowが必要だった。

正解したという事実だけでは、モデルがゲームの安定した内部表現を見つけたのか、十分な手掛かりを集めて推測したのかは分からない。Freewayでは、同じ手順がもっともらしい誤答を生んだ。

複数の構造と課題を使う盲検試験が実用性を決める

次は、未知のネットワーク、複数のアーキテクチャ、短い選択肢を与えない課題を含む大規模なbenchmarkが必要だ。再現性、所要時間、token消費量に加え、説明が新しい試験でネットワークの挙動を予測できるかも測るべきである。

重みの分析が通常のevalsで見落とした不具合を発見し、別のチームが結果を再現できれば実用的な価値が生まれる。それまでは有望な研究室の痕跡であり、ソースコードの終わりではない。

Lilithの判定

Qwenは数字の山から3回、正しいゲーム画面を引き当てた。未知のネットワークでも同じ精度を示すまでは、研究者は実験ノートを手放さない。