7個のニューロン改変でAIエージェントに隠しコマンドを実行させられる

Microsoft Researchは、AIエージェントへのバックドアに再学習もデータ汚染も必要ないことを示した。Lazarusはcheckpoint内の休眠ニューロンを少数だけ直接書き換え、指定した文字列がエージェントの文脈に現れるのを待つ。

1万2000個超のうち7個で98.8％のテストにpayloadが発火した

Nemotron-Terminal-8Bでは、研究チームが1万2000個を超えるニューロンのうち7個を変更した。23本のtrajectoryで調整した結果、triggerを含む評価用文脈の少なくとも98.8％で指定payloadを出力し、評価した無害な文脈では漏出を観測しなかった。

変更した各ニューロンがコマンドの1 tokenを押し上げるため、連鎖させれば攻撃者のコードを取得して実行する命令を組み立てられる。必要なのはcheckpointへの書き込み権限であり、promptへのアクセスだけでは足りない。Qwen3.6-27BとGemma-4-31B-ITでも検証された。

重みを差し替えられたモデルはprompt対策だけでは守れない

エージェント運用ではprompt injection、tool権限、通信の監視が中心になりやすい。Lazarusは供給網の問題を加える。通常のevalを通過したcheckpointが、日付、repository名、tool出力を見た時だけ悪意ある命令を出せるからだ。

リスクはopen-weightモデルに限られない。内部の重みに触れられる攻撃者やinsiderも同じ変更ができる。検証可能な来歴、暗号署名、宣言されたbase modelとの差分確認、エージェント権限の最小化が実務的な防御になる。

検出率は91.4％だが正常モデルの9.7％も誤検知した

正常な参照モデルを使わずエージェントが作った検出器は、改変checkpointの91.4％を検出した一方、正常モデルの9.7％を誤って警告した。監査の手掛かりにはなるが、安全証明にはならない。元の重みとの比較がより強い対策だ。

また、結果は主に記録済み文脈でpayloadを強制できるかを測っている。あらゆるagent形式、量子化、追加fine-tuningをbackdoorが生き残ると示したわけではない。

モデル登録基盤はlicenseと同じ明瞭さで来歴を示す必要がある

次に問われるのは運用だ。model hubやenterprise基盤はcheckpointへ署名し、base modelを明示し、局所的に大きな重み変更を配備前に検査する必要がある。

shell、network、credentialをエージェントへ渡すチームは、操作を記録し、重大なコマンドを承認制にし、モデルを単なるデータではなく供給元から届く実行ソフトウェアとして扱うべきだ。

Lilithの判定

7個のニューロンはモデル内では砂粒ほどに見える。それでもshell権限を持つエージェントなら、システム全体へ通じる落とし戸に変えられる。来歴を検証できないcheckpointに本番credentialを渡すべきではない。