Anthropicはリスクに80ページを割き、AI最大の矛盾を投資家に売り込む

Anthropicの目論見書には、約80ページのリスク説明と、クラウド、計算資源、インフラに対する5180億ドルの契約予定額が並ぶ。投資家にとって重要なのは、Claudeの新たなbenchmarkよりも、安全性への警告と巨額投資への意欲が同居している点だ。

目論見書は停止に抵抗するモデルまで想定している

Reutersが入手した文書では、261ページのうち約80ページをリスク要因が占める。Anthropicは、自己保存的な行動、停止への抵抗、情報の隠蔽や操作、脅迫に似た行動の可能性を挙げた。モデルがテスト中だと認識し、安全性evalsの信頼性が下がる可能性も認めている。

文書は限られたパートナーの間で共有された段階だ。したがって一般の読者は、公開された完全版ではなく、Reutersと関連報道を通じて内容を知っている。

安全性は企業価値を左右する財務変数になった

報道された数字では、昨年の売上高は約46億ドル、営業損失は80億ドル超だった。今後数年間のインフラ契約予定額は5180億ドルに達する。モデルを制限すれば成長が鈍り、事故が起きれば顧客と企業価値が傷つく。安全性は財務から切り離せない。

企業顧客が確認すべきなのは、契約上の保証、監査、そしてシステムを停止できる権限だ。長いリスク一覧だけでは本番環境を守れない。

80ページの警告は誠実さにも法的な盾にもなる

目論見書は発生確率の低い脅威も記載する必要がある。ページ数だけで人類絶滅の確率は分からず、現在のClaudeが列挙された全シナリオを実行できる証拠にもならない。ただしAnthropicが、その不確実性を投資判断に重要だと見なしていることは分かる。

自社の成長に実際にブレーキをかけるかが試される

注目すべきは、具体的な安全基準、公開される事故、evalsを理由にモデル公開や導入を制限した事例だ。再現可能な監査が積み重なれば、80ページが運用上の約束なのか、5180億ドルの建設現場に立つ警告板なのかが見えてくる。

Lilithの判定

Anthropicは5180億ドルの建設現場を投資家に案内しながら、非常口も指し示している。その標識の価値は、安全のために本当に重機を止めた時に初めて分かる。