AnthropicのCEO、ダリオ・アモデイがAI減速のための3段階計画を提案

大手研究所のトップが減速する時期だと言う

AnthropicのCEOであるダリオ・アモデイは、AI開発のペースを規制し、開発を遅らせるための3段階の計画を提案する長文のエッセイを発表した。Anthropicはまた、METR（モデル評価および脅威調査）などの独立した評価者にモデルへの直接アクセスを提供し、安全性を検証することを約束した。

アモデイは、技術の進歩が現在速すぎて、社会や規制当局が適応できないと主張している。彼は研究の全面的な禁止ではなく、潜在的に危険なシステムが公開されるのを防ぐための、構造化された抑制と均衡のシステムを提案している。

提案は独立した監査に責任を移す

アモデイの3段階の計画には、研究所内部のコミットメント、国家レベルの規制、そして国際合意が含まれている。核となる考え方は、モデルの展開を、作成者が内部指標のみに基づいて決定すべきではないということである。彼は、METRのような外部監査役は、リリースの直前だけでなく、トレーニング中にも「レッドチーミング」へのアクセスが必要であると主張している。

基盤モデル開発のシーンにとって、これはシグナルである。世界最高のモデルの1つ（Claude 3.5 Sonnet）のリーダーがブレーキを求めているなら、規制の圧力は強まるだろう。他の研究所は、独自の安全プロトコルがAnthropicの提案とどう比較されるかを示すことを余儀なくされる。

ルールは全員に適用されなければ意味がない

監査のアイデアは紙の上では理にかなっているが、市場の現実とは衝突する。アモデイ自身、エッセイの中で、Anthropicだけが減速すれば、OpenAI、Google、またはオープンソースコミュニティに市場シェアを奪われるだけだと認めている。世界的な合意や厳格な政府の規制（米国による中国への高度なチップ輸出禁止など）がなければ、自発的なブレーキは商業的な自殺行為である。

同時に、規制の虜（regulatory capture）の疑いも生じる。政府がAnthropic、OpenAI、Googleだけが満たせる厳しい認証ルールを採用した場合、資本の少ないスタートアップやオープンソースプロジェクトは、フロンティア開発から事実上切り離されることになる。

競合他社と政府機関の反応が決定的になる

他の主要な研究所がこの計画を支持するか、それともすでに強い立場にあるAnthropicが現在の現状を固定しようとする試みとして却下するかは、今後の展開次第である。

事態が変化しているという本当の証拠は、安全性に関するブログ記事が増えることではなく、米国の政府機関（AI安全研究所など）がアモデイの提案を、計算資源へのアクセスとモデル認証のための拘束力のある規制に変えるかどうかである。

Lilithの判定

市場で最高のモデルの1つを持っているときに規制を求めるのは、賢明なビジネス上の動きである。これは、すでにその背後にいる人だけが登れるように、十分に高いフェンスを構築しようとする試みである。