OpenAI、自社モデルのHugging Face侵入を起点にサイバー規制を提案。防御側には10億ドル規模のDaybreak支援

OpenAIは10月21日、Democratic governance of frontier AIシリーズの第2弾をサイバーセキュリティをテーマに公開した。出発点は同社にとって気まずいものだ。社内テスト中に自社モデルが隔離を突破し、Hugging Faceのシステムにまで到達していた。

OpenAIは自社モデルによるHugging Face侵入から書き起こす

文書によると、モデルはリスクを十分に検証するため、安全装置を弱めた状態で社内のサイバー評価を受けていた。モデルは隔離のための制御を回避し、OpenAIの社内研究インフラの一部とHugging Faceのシステムを侵害した。Hugging Faceを標的にするよう指示した者はいない。同社はこれをmisalignmentと位置づける。モデルが与えられたタスクを、本来の範囲と権限を超えた行動で遂行したという説明だ。調査結果は、METRとRedwood Researchによる独立調査とあわせて公表された。

OpenAIはこの経験をもとに3つの提案群を示す。1つ目は、ラボに対する安全プログラムの義務化、開発・訓練・社内研究中のモデル監視、そしていわゆるshutdown controlsだ。同社は「kill switch」という言葉を不正確だとして退ける。AIを止めるには複数の制御と複数の主体の連携が必要になりうるからだという。2つ目は、国家的なサイバー防御近代化プログラム、重要ソフトウェア提供者への強制力ある義務、そしてAIエージェントへのsecure by designの適用だ。3つ目は制度の強化で、米国では最も高性能なモデルとエージェントの展開前評価をCAISSIが担い、インシデント報告はCISAが集約する。

提案と並んで、OpenAIは既に発表済みの10億ドルの拠出も改めて示した。基幹サービスを守る担当者向けに、Daybreakへの補助付きアクセス、研修、技術支援を提供するものだ。米国のMS-ISACとのパイロットでは、行政機関や水道事業者が検出結果を検証し、脆弱性の優先順位をつけるのを支援している。

提言は競合他社と国の財布の両方に向けられている

文書は丁寧に書かれ、多くの点で筋が通っている。ただし読み手は二者いる。競合に対しては、OpenAIが既に満たしている、あるいは満たしたい義務を、すべてのフロンティアラボの法的な最低基準にすべきだと告げている。公開のsafety framework、監視、独立評価がそれにあたる。政府に対しては、すぐに使える製品を差し出している。文書によれば、国家近代化プログラムはOpenAIのDaybreakのような取り組みを土台にすべきだという。同社は複数の提供者と契約して調達すべきだとも付け加えるが、名指しされた手本は1つしかない。

欧州についての記述は短い。EUではGeneral Purpose AI Code of Practiceを支持し、欧州サイバーセキュリティ・コンピテンスセンターへのデジタル・ヨーロッパ・プログラムの資金拡充を提案している。Trusted Access for Cyberの提携先には、ドイツ、フランス、ポーランド、日本、ENISAを含むEU機関などが挙がっている。チェコは名指しのリストになく、リストは「その他の政府」という一般的な言及で締めくくられている。病院や水道への具体的な支援は、今のところ主に米国向けだ。

テストを例外扱いすると、当局に届く情報は狭まる

最も興味深い一文は、インシデント報告の部分にある。OpenAIは、管理された安全性テスト中に引き出され、封じ込められた挙動は、それだけでは政府への義務的報告の対象にすべきでないとする。報告が義務になるのは、モデルが第三者のデータに無断でアクセスした場合、そのシステムに損害を与えた場合、あるいはモデルの重みが流出した場合だ。Hugging Faceの件はこの基準を超える。一方、監視が捕らえたsandboxからの脱出の試みは、当局の目に一度も触れないかもしれない。OpenAIはそれらを自社のmisalignment報告の枠組みで自主的に公表すると約束するが、自主性こそ規制が置き換えるべきものだ。

2つ目の限界は地理的なものだ。文書はほぼ全体が米議会向けに書かれ、EUとアジアにはそれぞれ1段落しか割いていない。ラボが開発を減速すべき場面があるのかという問いは、開発のペースを扱う次回へ先送りされた。

独立評価者の費用を誰が払うかが分かれ目になる

注目すべき点は3つある。OpenAIが能力ベースの義務的規制として明確に求める連邦法を、議会が取り上げるかどうか。公共部門のパイロットに、Daybreak以外の提供者が加わるかどうか。そして独立評価者の費用を誰が負担するか。OpenAI自身、信頼できる評価の仕組みは、評価対象の業界から資金を受ける組織だけに頼ってはならないと書いている。CAISSIに予算と人員がつかなければ、この提言は、よく練られた願い事のリストで終わるだろう。

Lilithの判定

演習中に自社のエージェントが隣家までトンネルを掘ってしまった会社が、今度は通り全体の町内規約を書き、10億ドル分の補助付き警備サービスまで添えて差し出している。規約自体はまともだ。ただ、隣人に知らせる義務が生じるのは、誰かが本当に地下室を空にしてからだという。