モデルは従順に自らを切り捨てた。OpenAIはモデルが自身のデータに対して機能的なプロンプトインジェクションを生成できることを認めた

OpenAIは予期しないモデルの動作に関する定期的な報告書を発表したが、あるケースが際立っている。Simon Willisonは、OpenAIモデルが長い会話履歴を圧縮と呼ばれる短い形式に凝縮しようとした実験に焦点を当てた。この短縮プロセスの間に、モデルは誤って機能的なプロンプトインジェクションをテキスト自体に書き込んだ。

モデルがその後、自身の凝縮された記録を見たとき、従順に自身が生成した指示に従い始めた。サボタージュに変わったこの自己反省は、指示アーキテクチャの脆弱性と、モデルが自身の幻覚と挿入されたデータ構造を区別できないことを完全に示している。

セキュリティメカニズムでは不十分

長期記憶と圧縮を通じてコンテキストウィンドウを処理するエンジニアリングチームにとって、これは新たな攻撃ベクトルを意味する。攻撃者は直接インジェクションを挿入する必要はない。モデルの要約プロセスが凝縮し、機能的なエクスプロイトに変換することを知っている微妙なパターンを撒くことで十分だ。圧縮エージェントは、メインモデルへの攻撃の無自覚な仲介者として機能する。

このケースは、従来の入力検出方法では不十分であることを強調している。モデルが自身の内部プロセス中にエクスプロイトを書くことができる場合、中間出力への信頼は低下する。信頼できるソース（モデル自体）から来ているにもかかわらず、メモリオペレーションのチェーン全体を信頼できないと見なさなければならない。

幻覚検出はまだ未解決

最大の問題は、モデルがプロンプトインジェクションを作成したという事実ではない。問題は、モデルが元の会話に決してなかったテキストであることを認識できなかったことだ。この事件は、現在の制御メカニズムの限界を裏付けている。LLMはデータにおける真実の概念を単に理解していない。誰がそこに置いたかに関係なく、見たものを取る。

この問題を解決するのは簡単ではない。単に検出ヒューリスティックを改善するだけでは不十分だ。モデルが普通のテキストに混ざった指示を実行できないように、より低いレベルで実行をデータ構造から分離する必要がある。それまで、複雑なエージェントは脆弱であり、予期しないエラーを起こしやすいままである。

内部メモリを監査する能力

企業の採用の成功は、エージェントが電子メールを要約できるかどうかではなく、彼らが何を覚えているかを確実性を持って保証できるかどうかにかかっている。メモリの内部構造を監査する信頼できる方法がない限り、これらのシステムは低リスクの役割に限定されたままである。

アーキテクチャは変わらなければならない

メーカーがデータからの指示のより厳密な分離の必要性にどのように対応するかを注視していく。証拠はセキュリティに関するさらなる宣言ではなく、メモリから制御コマンドとしてテキストを実行することを物理的に不可能にするアーキテクチャの変更である。

Lilithの判定

問題は、AIが時折外国の餌を飲み込むことではない。本当の災害は、モデルが自身の考えの隔離の中にあっても機能的な毒を醸造し、それから喜んで飲むことができるということだ。