AIの安全性における「良い」とは何か？OpenAI、RSI到来前に共有基準を求める

主要な敵としての断片化

OpenAIは、フロンティアAI開発のための国際基準の策定を求める文書を発表した。同社は、各国の法律の寄せ集めではなく、能力の測定、リスク評価、および保護措置の十分性に関する世界的な技術基盤を提案している。その目的は、破滅的なリスクの適切な軽減が実際にどのようなものかという問いに答えることである。

同社は現在の状況における3つの重要な問題を指摘している。第一は断片化であり、国によって報告要件が異なり、矛盾するインシデントの定義が使用されている。第二は集団的行動であり、孤立した国家的アプローチは意図しない結果を招く可能性がある。第三は能力の不均等であり、これらのリスクを評価するために必要な専門知識が世界中に均等に分布していないためである。

誰がルールの主導権を握るのか

OpenAIによると、米国は他国と協力してこれらの基準を形成する上で主導的な役割を果たすべきであるという。この提案は、AI基準・イノベーションセンター（CAISI）や、英国、日本、フランスなどの国の国立AI安全研究所などの既存のネットワークに基づいている。

これらの基準は、ライセンスやリリース前の義務的な承認を意図したものではない。各国政府は、自国の法体系にそれを組み込むかどうか、またどのように組み込むかを決定する。このアプローチは、国家主権を損なうことなく共有の技術基準が存在する航空および金融セクターからインスピレーションを得ている。

自己改善が地平線に現れる

現在のモデルはまだ完全な自律的再帰的自己改善（RSI）の能力を持っていないが、OpenAIは自動化されたAI研究が近づいていると警告している。システムが開発のより大きな部分を担うようになるにつれて、進歩のペースは急激に加速する可能性がある。明確なルールと人間の監視がなければ、コントロールを失うリスクがあると同社は主張している。

同文書は、堅牢な保護措置が機能しなくなった場合に発生する可能性のあるリスクの予兆として、最近の「Hugging Face Incident」を明確に引用している。これはRSIの直接的な結果ではないが、このインシデントは現在のセキュリティ対策の限界を浮き彫りにした。同社は、完全な自律型RSIは現在行われておらず、その安全性が保証されるまで追求されるべきではないと指摘している。

成功を左右する要因

断片化への対応には、インシデント報告と重大度分類のための共有プロトコルが含まれると予想される。重要インフラの事業者と政府は、脅威に関する情報を共有するための安全な通信チャネルを確立する必要がある。

このイニシアチブの成功は、オープンソースの開発者や新規参入者を不利な立場に置くことなく、これらの基準を透明性を持って策定できるかどうかにかかっている。決定的な要因は、技術的に正確でありながら、利害の対立する企業や国家に受け入れられるルールを設計できる能力となる。

Lilithの判定

事実上、OpenAIは、米国政府に「エージェントは自らコードを書くようになったが、このスプレッドシートによれば、我々はまだそれを監視している」と報告しなければならない瞬間に向けて、地固めをしているのだ。