攻撃レポートが示す悪意の限界：Claudeは攻撃者をブロックする

敵対的な環境での生き残り

Zvi Mowshowitzによる新しい分析は、Claudeモデルを誤用しようとする試みを詳述したAnthropicの最近のレポートを検証しています。どうやら、攻撃者は簡単な思いをしていないようです。多くの関係者が、詐欺、サイバー攻撃、またはその他の違法行為を支援するようLLMを説得しようとします。しかし、Anthropicはこれらの試みを積極的に阻止しており、入手可能なデータによると、それらのほとんどは失敗に終わっています。

バリアは今のところ機能している

この状況は、セキュリティチームにとってやや楽観的です。高度なモデルの誤用に関する理論的な懸念があるにもかかわらず、APIおよびモデルレベルでの現在の緩和策が、一般的な攻撃に対する強固な防御を提供していることを示しています。Anthropicのレポートが実際の状況を反映している場合（氷山の一角から慎重に選択された例だけでなく）、LLMを組織犯罪の従順な共犯者に変えることは、思っていたよりも難しいことを意味します。

水面下の見えない脅威

しかし、依然として巨大な死角が存在します。レポートは、Anthropicが検出して阻止した攻撃のみを示しています。検出を回避するほど賢かった人々、またはベンダーの監視なしにオープンソースモデルを使用している人々については何もわかりません。セキュリティの真のテストは、アマチュアのブロックされた試みではなく、そのようなレポートでは通常読まない、国家の主体による洗練された攻撃です。

プロンプトレベルでの軍拡競争

重要なのは、攻撃者の手法がどのように進化するかを観察することです。標準的なフィルター回避（ジェイルブレイク）が困難になると、Claudeのようなモデルに委ねられたエージェントのアーキテクチャの脆弱性を悪用する攻撃や、外部ツールの操作に関心が移る可能性が高いでしょう。

Lilithの判定

傍受された攻撃に関するレポートはPR素材です。真の脅威は、爆発物の作り方を尋ねる素人ではなく、ずっと前に検閲されていない重みをダウンロードし、誰にも尋ねない専門家です。