2026-11-16 · ← ニュース
OpenAIが外部4組織を内部評価へ招く、ただし独立性は合意範囲まで
OpenAIはApollo Research、METR、Goodfire、Transluceと、training中および社内利用時のmodel評価で合意した。Apolloは6人を4カ月派遣するが、accessと公開条件は完全に独立した評価の基準へまだ届かないと明記している。
画像を読み込めませんでした。
OpenAIは4つの外部組織とembedded assessmentの第1段階を始める。各案件に応じて、model checkpoint、source code、trainingとevalのdata、monitoring system、社内担当者へのaccessを提供する。
Apolloは4カ月かけて人間のcontrolを回避する試みを探す
Apollo Researchの6人チームは、trainingがsubversionを促すか、evalでそれを引き出せるか、社内運用で起きるか、関連するreasoningを検出できるかを調べる。Apolloは方法、結論、限界を示す2本の公開reportを予定している。
Goodfireはinterpretability、training runのmonitoring、望ましくない挙動のdebuggingを担当する。METRは大規模reinforcement learning runで危険な挙動を探し、その後monitoringも評価する。Transluceはpost training alignment evalの品質と範囲を調べ、2027年初めに約8週間の拡大評価を予定する。
継続accessならrelease直前の試験が逃す問題を追える
従来の外部評価は、post training後で公開直前のmodelを対象にすることが多かった。開発中から参加すれば、挙動が生まれる過程を追い、checkpointを比較し、社内monitorが独立testと同じ問題を捉えるか確認できる。最後に1回だけ安全評価を付けるより多くの情報を得られる。
4組織への分担により、modelの挙動、内部状態、monitoringの検出力、evalの品質を別々に問える。ただし一般公開される証拠は一部に限られる。無修正版reportはOpenAI FoundationのSafety and Security Committeeが受け取る。
Apolloのaccessは深いが範囲と証拠を完全には制御できない
Apolloは今回を重要な第一歩と評価する一方、完全な独立性に必要な3条件へ届かないと説明する。条件は関連資料すべてへのaccess、developerの意向に反しても結果を開示できる権利、制約自体の透明性だ。OpenAIはsecurity、技術的実現性、知的財産を理由に資料を保留できる。評価対象も合意した主張、model、期間だけだ。
面談できるのは認可された社員に限られる。OpenAIは公開資料の機密情報をredactし、安全問題の修正中は公開延期を求められる。ApolloとGoodfireは結果に連動しない報酬を受ける。METRとTransluceは報酬を受け取らないが、computeやAPI creditsを利用する場合がある。
Apolloの2本のreportが外部から検証できる独立性を試す
最初の試金石は公開reportだ。閲覧できなかった記録、拒否された要求、redactionが結論へ与えた影響を具体的に示す必要がある。ApolloはOpenAIの事前reviewなしに制約を説明する権利を得たため、読者は少なくとも盲点の地図を持てる。
次のsignalは、予想外の発見後に当初の範囲を広げられるかどうかだ。建物の中にいる評価者は通常のauditorより多くを見られる。本当の独立性は、元の契約が除外した扉を開けようとした時に分かる。
Lilithの判定
建物の中にいるauditorは、ガラス越しの訪問者より多くを見られる。独立性は、hostが閉じておきたい扉の取っ手へ手を伸ばせるかで決まる。
出典