AI研究所の安全文化は、異論をどう扱うかで決まる

Zvi Mowshowitzは、主要なAI研究所には十分に強い安全文化がないと論じている。根拠として挙げるのは、社員の退職、問題の公開をめぐる対立、安全への約束と開発速度の緊張だ。この文章は論評と情報の整理であり、個々の出来事を独立に調査した報告ではない。

Robinsonは12件の安全報告に関わった後、OpenAIの文化を批判して退社した

David Robinsonは3年半在籍したOpenAIを退社した。公開した文章では、現行のPreparedness Frameworkの起草を主導し、frontier modelの12回の公開に伴う安全報告を監督したと述べている。また、同社に過度な楽観があると批判し、重大なリスクを長年扱ってきた分野の専門家をもっと活用するよう求めた。

ほぼ同じ時期に、OpenAIが機密情報の扱いを理由として安全研究者3人を解雇したと報じられた。会社側と解雇された社員では説明が異なる。2つの出来事が近い時期に起きたことだけで共通の原因は証明できないが、内部の異論をどう扱うかに注目が集まった理由にはなる。

安全枠組みの価値は、model公開の判断を変えられるかで決まる

研究所はevals、system cards、正式なリスク基準を整えながら、誰かが反対しにくい文化を作ることもできる。安全チームが十分な時間と情報と権限を持ち、事業や競争の圧力が逆方向へ進む時に介入できるかが決定的だ。

この違いは顧客や規制当局にも重要である。文書はprocessを説明するが、そのbrakeを人が実際に使うかは文化が決める。公開された報告書の数だけでは、異論によってmodelが変更された回数、deploymentが遅れた回数、accessが制限された回数は分からない。

退職の連続は警告だが、研究所全体の姿ではない

Mowshowitzは複数の公開証言を結び、組織的な失敗だと解釈する。その見方には根拠がある一方、退職者を対象にすれば批判的な経験が強く表れるのは自然だ。内部でのescalation、延期された公開、経営陣の判断に関するdataがなければ、会社全体の文化を外部から正確には測れない。3人の解雇をめぐる争いでも、機密dataの保護とwhistleblowerの保護を分けて考える必要がある。

異論が実際に公開を遅らせた事例が答えを示す

最も説得力があるのは、内部の異論によって再test、access制限、model公開の延期が行われ、問題を提起した社員が処罰されなかった事例だ。その記録があって初めて、安全が研究所の中で独自の重みを持つのか、専用の文書だけを持つのかが分かる。

Lilithの判定

安全文化は規則集の厚さでは測れない。研究者がmodel公開に反対して手を挙げ、経営陣がその手を本当に見る時に姿を現す。