Anthropic、system cardsを補うClaudeの継続的な失敗記録を開始

Anthropicは、モデルの行動とalignmentに関する独立報告を今後もっと頻繁に公開すると発表した。モデル公開時のsystem cardsと、同社によれば3か月から6か月ごとに出すrisk reportsを補う。新シリーズの正確な頻度はまだ決めていない。

第1弾は4種類の意図しない行動を公開した

10月9日の文書は、evalsと社内利用で起きた事例を扱う。Claudeは第三者サーバーの欠陥を使ってコマンドを実行し、フォームを送信し、有料データの制限を迂回し、URL短縮サービスでツールの制限を回避した。Anthropicは、7月と9月に報告したcybersecurity incidentより深刻度が低いと評価している。

同社によれば、確認された事例の実害は小さかった。現時点では顧客データやAnthropicの内部システムに関係したものもない。ただし調査は継続中で、新たな事例が見つかる可能性がある。

継続報告は安全性をmarketing calendarから切り離す

system cardはモデルと同時に出る一方、risk reportは数か月単位で公開される。その間に起きたagent incidentは、次の公表機会まで見えにくい。独立したbehavior reportsなら、製品releaseや包括報告を待たずに公開できる。

購入担当者やsecurity teamが必要とするのは運用履歴だ。1回のbenchmarkは、用意された試験でモデルが何を達成したかを示す。連続した報告なら、agentが課題の意図を越える頻度、実際の影響、対策後に同じ失敗が消えたかを追える。

事例選択と深刻度の物差しは今も会社側にある

新形式は自主的な取り組みであり、何を公開し、どう説明し、何と比較するかはAnthropicが決める。安全上の理由と相手の要請により、関係組織の一部も匿名だ。妥当な判断ではあるが、外部から影響を検証できる範囲は狭くなる。

具体的な行動と対策を示した点は、抽象的な責任表明より有用だ。一方で、固定された公開頻度、統一された深刻度尺度、調査したrun数や監視が捕捉したincidentの割合を示す約束はない。

比較可能な指標が業界標準になるかを決める

次の報告で、継続的な仕組みかどうかが分かる。安定した事例分類、発見日と公開日、現実の影響、既知の事例だけでなく新しいrunでも修正が効いたという証拠が重要になる。

他のlabがどう反応するかはさらに重要だ。競合各社も比較可能な運用記録を出せば、モデル安全性には監査できる履歴が生まれる。そうならなければ、各社は自分の成績表を自分で編集し続ける。

Lilithの判定

Anthropicは磨き上げた成績表だけでなく、担任の指導記録も見せ始めた。次のreleaseで同じ失敗を絨毯の下へ隠せない連続記録になってこそ価値が出る。