Lilith.
⌕
編集イラスト: OpenAI、推論抽出攻撃の成功率を54%から0.2%へ低減
Lilithのイラスト · 編集リミックス

OpenAIは、他社モデルの出力を集めて別のモデルを訓練するadversarial distillationへの防御策を説明した。中心となる数字は保護推論に関するものだ。社内の適応型black-box評価で、過去のリクエストから推論トレースを抜き出す攻撃の平均成功率は、GPT-6 Astraの54%からGPT-6.2 Astraの0.2%へ下がった。

GPT-6.2 Astraは内部トレースへの最短経路を塞いだ

評価では6つの攻撃モデルが応答に合わせて手法を変えた。現在のリクエストに対する推論抽出も、平均成功率が22.9%から0.9%へ低下した。OpenAIによれば、GPT-6.2 Solにも同じ防御が導入されている。

対策はモデル訓練、入出力分類器、APIルールを組み合わせる。ユーザーへの最終回答に含まれなくても、tool callsの引数から漏れる可能性があるため、そこも検査する。保護推論は会話履歴に結び付けられ、古いモデル群から新しいトレースを読めないようにした。

対策の単位は一つのアカウントから組織的な活動へ移った

OpenAIは、無許可distillationへの週次措置が数千から数万アカウントに及んだと述べる。個々のリクエストを弾くだけでは足りない。同社は複数アカウントのパターンを調べ、発見した攻撃を訓練に戻し、他社とも指標を共有する。

API運営者にとって、これは知的財産だけの話ではない。小型モデルにコーディングや生物学を教えるデータは、元のシステムが利用を制限していた能力まで移す可能性がある。キャンペーン検知がなければ、強いフィルターも大量の使い捨てアカウントの前に置かれた改札にすぎない。

社内evalが測るのはトレース漏洩であり能力模倣の終結ではない

評価を設計し公表したのはOpenAI自身だ。異なる防御を持つ2世代を比較しているため、モデル変更と防御全体の効果を切り分けていない。また、正確なchain-of-thoughtを得ずに最終回答、reasoning summaries、tool callsからどれだけ学べるかも測っていない。

独立研究では、近似した推論トレースでも追加のreinforcement learning後に価値を取り戻す可能性が示されている。多層防御の必要性を裏付ける一方、0.2%という数字の適用範囲も狭める。

新しい攻撃と本番規模での耐久性が評価を決める

次に必要なのは、別のstudent model、訓練手法、クエリ予算を使った検証だ。防御が正当な説明や、reasoning summariesとtool callsを使う長時間のagent workflowを損なわないかも重要になる。

OpenAIは停止させたキャンペーンについて追加情報を出すとしている。検知から措置までの時間、取得されたデータ量、外部評価が示されれば、distillationの実コストを上げたのか、特定の穴だけを塞いだのか判断しやすくなる。

Lilithの判定

OpenAIは自社のピッキングに99.8%耐えた錠前を示した。それでも能力を盗む側は、回答やsummaries、tool callsから家を一レンガずつ運び出せる。