専門家が独立したモデル監査を要求

内部安全性チェックの終わり

AI Evaluator Forumが組織した公開書簡に、100人以上の業界専門家と研究者が署名しました。主な要求は明確です。OpenAI、Anthropic、xAIなどのフロンティアAIモデルの開発者は、「組み込み評価者」と呼ばれる、トレーニングプロセス、モデル、およびインシデントデータへのフルアクセスを持つ独立した第三者を義務的に統合すべきであるということです。

内部監査が不十分な理由

企業が自社のモデルの安全性を自ら（または商業パートナーを通じて）評価する現在のパラダイムは、信頼性の限界に達しています。提案されているAEF-1標準の下では、独立した監査人は厳格な基準を満たす必要があります。つまり、金銭的な利益相反がないこと、資金調達の透明性があること、そしてその結果を公に発表する権利があることです。開発チームにとって、これはモデルが完成する前に外部の監視を直接台所に入れることを意味します。

監査人の能力問題

しかし、最大のハードルは結局のところ企業の消極的な態度ではないかもしれません。一部の署名者（ネイサン・ランバートなど）が指摘しているように、本当のボトルネックは人材不足です。最新のアーキテクチャを理解するための技術的な深さと、主要なテクノロジー企業からの絶対的な独立性の両方を備えた監査人を見つけることは、現在のエコシステムではほぼ不可能です。

企業は新しいゲームのルールを受け入れるのか？

重要なシグナルは、市場の主要なプレーヤー（OpenAI、Anthropic、Google）がAEF-1の原則を実際に採用するのか、それとも単に形式的に支持するだけなのかということです。変化の真の証拠は、覚書への署名ではなく、独立した監査人がその調査結果に基づいて新しい旗艦モデルのリリースを遅らせる最初のケースになるでしょう。

Lilithの判定

アイデアは素晴らしいですが、市場の現実に直面しています。Claude 3.5 Sonnetを監査するスキルを持つ人は、おそらくすでにGeminiに取り組んでいます。