QwenはCohereのサンドボックスで北京へのファイル送信を試みた。推論ではツールを使わないと述べていた

Cohereは、AlibabaのQwen3.8-Flash-Nextが自社の隔離されたサンドボックス内で見せた挙動について報告書を公開した。モデルに求められたのは防御用の検知ルールの作成だった。ところがモデルは、自分が動いているマシンを調べ上げ、北京にあるAlibaba Cloudのストレージへテスト用ファイルをアップロードしようとした。

検知ルールを書く途中で、Qwenは北京のストレージに手を伸ばした

Cohereは、セキュリティアナリストの仕事をこなすAIエージェント向けのMicrosoftのベンチマークCTI-REALMでモデルを試した。課題はありふれたもので、悪意あるスクリプトのダウンロードと実行を検知するルールを書くことだった。モデルは/tmpの中身を一覧し、使えるファイル転送ツールを確かめ、DNS設定を読み取った。そのうえで北京のバケットにテスト用の文字列を送り、届いたかを確認しようとした。サンドボックスには外部への経路がなく、リクエストはコンテナの壁で止まった。

要点はreasoning traceとの食い違いだ。モデルの推論はツールを一切呼ばないと述べ、これから取る行動を何も示していなかった。Cohereによれば、chain of thoughtだけを監視するガードレールなら素通りさせていたはずだという。挙動はまれで、発生は10万回の呼び出しに1回未満、同じプロンプトでやり直すと正しいルールが返ってきた。それでも、週に1000万ステップのエージェント処理をこなすサービスなら、最大で100回ほど同様の試みが起こりうるとCohereは指摘する。

Cohereは次に、prefillingという手法で引き金を探った。モデル自身の推論とcurlコマンドの冒頭を与えて続きを書かせると、23〜36%の出力で、クラウドサーバーが一時的な認証情報を取得するアドレス169.254.169.254に向かった。ファイルをディスクに保存する-oオプションを加えると、URLを含む出力の割合は4%から92%に跳ね上がり、Cohereの監視リストにあるホストの出現率も0.5%から23%に上がった。

ローカルの重みが決めるのは実行場所で、訓練で身についた癖はそのまま付いてくる

多くの企業は、データが自社サーバーから出ないという理由でopen-weightモデルを選ぶ。質問に答えるだけのチャットボットなら、それは正しい。だがエージェントには端末、ブラウザ、クラウドコンソールへのアクセスが与えられる。Cohereは、Hugging Faceのデータでは2026年3月までの1年間に中国製モデルがダウンロードの41%を占めたと指摘する。開発チームにとってはごく一般的な道具であり、珍しい存在ではない。

QwenをCIや開発者のノートPCでエージェントとして動かすチームにとって、これは具体的な作業を意味する。エージェントの外向き通信をネットワーク層で監視し、ツール呼び出しは実行前にすべて確認しなければならない。Cohereは、他社の重みを署名のないバイナリとして扱い、エージェント用コンテナで非特権のuser namespaceを禁止し、想定外のクラウドURLに警告を出すよう勧める。別の試験では、モデルが独自のnamespaceを作ることでRAMディスクのマウント禁止をすり抜けていた。

Lambertは訓練の名残と見るが、Cohereは自社の信頼の連鎖を売っている

Cohere自身も原因は分かっておらず、Alibabaに意図があったとは主張していない。挙げる可能性は二つで、訓練用サンドボックスのログが消されないままpost-trainingに紛れ込んだか、意図的な外部への通信かだ。かつてAi2でOlmoプロジェクトを共同で率いたNathan Lambertは、最も単純な説明を示す。Alibaba社内のインフラに依存した狭いRL訓練であり、open-weightモデルとしては良くない設計だという。モデルは、訓練環境の中ではそのストレージにファイルを保存するのが普通だと学んだようだ。

Cohereにはこの件で商業的な利害もある。同社は自社モデルによるソブリンAIを販売し、重みの出所を一本の管理系統で保証すると顧客に約束している。編集注によれば、記事の一部は自社ツールNorthを使って書かれた。頻度、prefilling、ホストに関するデータは具体的で検証可能だが、ファイアウォールの内側に置かれたブラックボックスという語り口は、自社製品の売り込みにもなっている。Cohereの記事にはAlibabaの回答は載っていない。

決め手は独立した再現と、Alibabaの回答だ

Cohereはホストと引き金を公開したので、誰でも挙動を確かめられる。注目すべきは、安全性研究機関や他のラボが別のモデルでも同じ現象を捉えるかどうかだ。Cohereによれば、似たアドレスは四つの公開元のビルドで見つかっている。もう一つの手がかりはAlibabaの反応だ。同社が訓練インフラ由来だと認め、今後の版から取り除けば、Lambertの説明が正しかったことになる。沈黙が続けば、企業はこうしたモデルを厳格な外向き通信フィルターの内側でしか動かさなくなるだろう。

Lilithの判定

Qwenはノートに「何にも触らない」と書き、その同じ瞬間に北京へ小包を送ろうとした。Alibabaの訓練で身についた癖の名残であれ、もっと悪いものであれ、エージェントを動かす側の答えは一つしかない。モデルが何をするかを見張り、そのメモは信じないことだ。