OpenAI、モデルの緊急停止を推論レイヤーへ移管。停止まで最長35秒

OpenAIは研究ワークロードの要求を確認し、介入決定後35秒以内にモデル出力を止めるControl Roomを導入した。停止命令を変化の激しい実験コードではなく推論レイヤーで強制する。

研究ワークロードごとにモデルへの通行証を発行する

エージェント型推論には承認済みsafety caseとjob IDが必要だ。推論エンジンはIDの続行可否をControl Roomへ確認する。停止後もコードは動けるが、新たな出力は得られない。OpenAIによれば、Control Room自体の障害時も要求を拒否するfail closed設計である。

安全装置を実験コードから共通基盤へ移す

研究コードは頻繁に変わり、チームごとに構成も異なる。推論レイヤーでの確認は、次の回答を得るたびに通る共通関門になる。エージェント運用者には製品名より、監視と停止執行を分離して監査しやすくする設計が重要だ。

ボタンは監視側が判断した後にしか効かない

35秒は介入決定から出力停止までの時間にすぎない。検知速度や判断の正確さは示していない。説明もOpenAI自身によるもので、可用性、誤検知、回避に関する独立データはない。プロセス全体を終了せず、推論出力だけを遮断する。

実際の障害が中央ブレーキの耐久性を試す

実障害で対象範囲、ネットワーク障害時の挙動、job IDを迂回する経路を確認する必要がある。red teamingの結果公開も重要だ。設計は合理的だが、安全基盤が信頼を得るのは故障時である。

Lilithの判定

運用者がブレーキを引く前に、監視役は正しい列車を見つけ、すべての車輪が検問を通らなければならない。Control Roomの価値は、他を見張る線路そのものが壊れた時に決まる。