Anthropicの法案、モデルを止められるのは裁判官だけ　条件は50人超の死者リスク

Anthropicが独自の連邦AI安全法案を米国の議員に売り込んでいる。TechCrunchも依拠するPoliticoの報道によると、50人を超える死者や10億ドルを超える損害のおそれがあれば、モデルの公開を差し止められる。ただし止められるのは裁判所の命令だけだ。法案の全文は公開されていないため、本稿はメディアが引用した内容に基づいている。

モデルを止めるのは裁判所だけ、それも有償の評価者が通報した後だ

法案の中心にあるのは「予見可能で差し迫ったリスク」だ。破局は、生物兵器の作成や使用、モデルが開発者の制御から逃れること、あるいはサイバー攻撃のいずれかから生じるものに限られる。死者50人、損害10億ドルという基準は、カリフォルニア州法SB 53が破局的リスクの定義に使う数値と似ている。

リスクを判定するのは、米商務省に登録された独立評価者だ。報酬が評価結果に左右されない限り、AIラボ自身が彼らに支払うこともできる。評価者が差し迫った破局的リスクを見つけた場合、72時間以内に商務省へ通知する。商務省はそのうえで、ワシントンの裁判官にモデル公開の停止を申し立てなければならない。Politicoによれば、法案は連邦機関が独自の判断でモデルの配布を止めることを明確に禁じている。

Anthropicの広報担当者はPoliticoに法案の存在を認めた。同社が6月から連邦と州の議員に働きかけてきたAdvanced AI Frameworkを法文にしたものだという。

国がラボを監督するルールを、ラボ自身が書いている

先週には流出版が出回り、批判は州からどれだけ権限を奪うかに集中した。今回は本文が確認され、関心は介入の仕組みに移っている。各段階に門番がいる。評価者がリスクを見つけ、商務省が申し立て、裁判官が認めなければならない。機関が自らモデルを一時停止する近道は閉ざされている。

ラボにとっては予測しやすい制度だ。どのシナリオが対象になり、誰が評価でき、介入を決めるのが裁判所だと分かっている。業界には逆方向の主張もある。NvidiaのJensen Huang CEOは最近、AIに新しい法律は一切要らないと述べた。Anthropicの提案は業界の多くの案より踏み込んでいる。同時に、国の監督がどの経路を通れるかを細かく決めてもいる。

ラボが報酬を払う評価者と、短い破局リスト

最大の弱点は独立性だ。報酬を結果に連動させないというルールがあっても、評価者を選ぶのはラボであり、次の契約を見送ることもできる。TechCrunchは、法案が金銭の影響をどう排除するのか説明していないと指摘する。AnthropicとOpenAIが自社内に置こうとしている評価者をめぐっても、同様の議論が起きている。

二つ目の限界は対象範囲だ。生物兵器、制御の喪失、サイバー攻撃は深刻なシナリオだが、死者50人規模の「差し迫った」リスクという基準では極端な事例しか拾えない。業界が今年悩まされてきたエージェントによるハッキングや、運用者の指示に従わないモデルは、このハードルをなかなか越えない。しかも本当に危険が差し迫っているなら、通報までの72時間と裁判手続きは長すぎる。

誰が議会に提出し、何が残るかで決まる

最初のシグナルは提出者だ。上院議員か下院議員が提出するまでは、一企業のロビー文書にすぎない。二つ目は、評価者の独立性についてより厳しいルールが盛り込まれるかどうかだ。たとえばラボが選ぶのではなく、政府が評価者を割り当てる仕組みである。

他のラボの反応も注目に値する。OpenAIやGoogleが賛同すれば、Anthropicの案は業界全体の出発点になる。拒否すれば、一企業が自らを足止めしない監督をどう思い描いているかを示す一例として残るだろう。

Lilithの判定

ここで消防を呼べるのはラボが報酬を払う人だけで、ホースを開けられるのはワシントンの裁判官だけだ。法案によれば50人以上が死ぬかもしれない火事にしては、廊下が長すぎる。