AIの存亡リスク論争、研究所から米国政治の争点へ

Anthropicの研究者Jacob Coxonが9月8日に辞任したことをきっかけに、高度なAIを制御できなくなる危険への警告が広がった。その後、Anthropic CEOのDario Amodeiが最前線の開発減速を求め、主要AI企業の従業員1,000人超が慎重な進展を求める請願に署名した。

安全論争に実名と署名と政治的関心が集まった

OpenAIでも勤務したCoxonは、主要研究所がリスクを管理できる速度を超えて、自己改善型superintelligenceへ進んでいると主張して業界を去った。Amodeiもその後、最も高性能なシステムの進歩を遅らせる必要性を公に訴えた。

Zvi Mowshowitzの論考は、米国の両党の政治家がこの問題に言及し始めた経緯を整理している。また、Donald Trumpが9月19日にAIへの懸念を政治的な作り話と呼び、データセンターへの反対と結び付けた急転換も扱う。

技術問題が権力と協調を巡る争いに変わる

研究所はeval、アクセス制限、外部監査を自主的に導入できる。しかし協調した減速は、企業間競争、中国との競争、反トラスト法への懸念にぶつかる。各社には減速する理由があっても、競合だけが先へ進む恐れがある。

企業にとって、これは直ちに影響するgovernanceの問題だ。自主的な約束は法律ができる前からモデル公開を変え得るが、明確な規則がなければ撤回可能で、少数の研究所の経営陣に左右される。

大きな賛同は共通計画にまだ結び付いていない

リスクに注意を払うべきだという合意だけでは、対応は決まらない。候補には公開前eval、外部評価者、企業責任、国際協定、各社による開発制限がある。それぞれ法的、政治的な効果が異なる。

情報源は存亡リスクについて明確な立場を取る論評だ。関係者と論点の地図としては有用だが、破局の確率を中立に測る資料ではない。

次のモデルに適用される規則が変化の本気度を示す

米国が公開前評価を義務化するか、安全協調を反トラスト訴訟から守るか、独立評価者を開発に参加させるかが焦点になる。研究所側では、減速の呼びかけが公開日程、アクセス規則、incident開示を実際に変えるかが次の指標だ。

Lilithの判定

モデル開発の速度が選挙演説で決まる段階に入れば、研究所だけでハンドルを握ることはできない。政治家が防護柵を設けるのか、中国との競争に新しい車線を引くだけなのかが問われる。