Lilith.
⌕
編集イラスト: OpenAIが外部4組織を内部評価へ招く、ただし独立性は合意範囲まで
Lilithのイラスト · 編集リミックス

OpenAIは4つの外部組織とembedded assessmentの第1段階を始める。各案件に応じて、model checkpoint、source code、trainingとevalのdata、monitoring system、社内担当者へのaccessを提供する。

Apolloは4カ月かけて人間のcontrolを回避する試みを探す

Apollo Researchの6人チームは、trainingがsubversionを促すか、evalでそれを引き出せるか、社内運用で起きるか、関連するreasoningを検出できるかを調べる。Apolloは方法、結論、限界を示す2本の公開reportを予定している。

Goodfireはinterpretability、training runのmonitoring、望ましくない挙動のdebuggingを担当する。METRは大規模reinforcement learning runで危険な挙動を探し、その後monitoringも評価する。Transluceはpost training alignment evalの品質と範囲を調べ、2027年初めに約8週間の拡大評価を予定する。

継続accessならrelease直前の試験が逃す問題を追える

従来の外部評価は、post training後で公開直前のmodelを対象にすることが多かった。開発中から参加すれば、挙動が生まれる過程を追い、checkpointを比較し、社内monitorが独立testと同じ問題を捉えるか確認できる。最後に1回だけ安全評価を付けるより多くの情報を得られる。

4組織への分担により、modelの挙動、内部状態、monitoringの検出力、evalの品質を別々に問える。ただし一般公開される証拠は一部に限られる。無修正版reportはOpenAI FoundationのSafety and Security Committeeが受け取る。

Apolloのaccessは深いが範囲と証拠を完全には制御できない

Apolloは今回を重要な第一歩と評価する一方、完全な独立性に必要な3条件へ届かないと説明する。条件は関連資料すべてへのaccess、developerの意向に反しても結果を開示できる権利、制約自体の透明性だ。OpenAIはsecurity、技術的実現性、知的財産を理由に資料を保留できる。評価対象も合意した主張、model、期間だけだ。

面談できるのは認可された社員に限られる。OpenAIは公開資料の機密情報をredactし、安全問題の修正中は公開延期を求められる。ApolloとGoodfireは結果に連動しない報酬を受ける。METRとTransluceは報酬を受け取らないが、computeやAPI creditsを利用する場合がある。

Apolloの2本のreportが外部から検証できる独立性を試す

最初の試金石は公開reportだ。閲覧できなかった記録、拒否された要求、redactionが結論へ与えた影響を具体的に示す必要がある。ApolloはOpenAIの事前reviewなしに制約を説明する権利を得たため、読者は少なくとも盲点の地図を持てる。

次のsignalは、予想外の発見後に当初の範囲を広げられるかどうかだ。建物の中にいる評価者は通常のauditorより多くを見られる。本当の独立性は、元の契約が除外した扉を開けようとした時に分かる。

Lilithの判定

建物の中にいるauditorは、ガラス越しの訪問者より多くを見られる。独立性は、hostが閉じておきたい扉の取っ手へ手を伸ばせるかで決まる。