2026-11-13 · ← ニュース
model specはAIの振る舞いを定める。新たな枠組みはテスト、版管理、独立検証も求める
Safe AI Forumは、西側と中国の機関に所属する執筆者がまとめたmodel specの枠組みを公開した。仕様を6要素に分け、公開版管理、準拠度の測定、独立評価者へのアクセスを企業に提言している。
画像を読み込めませんでした。
Safe AI Forumは、Emerging International Best Practices for AI Model Specsを公開した。13の組織に所属する執筆者が、望ましいモデル行動のルールを企業がどう作成、公開、実装、評価すべきかを整理している。AIの振る舞いに関する公約を、訓練、テスト、個別判断への異議申し立てに使える文書へ変えることが狙いだ。
6つの要素が価値観を検証可能なルールに変える
この枠組みはmodel specを6要素に分ける。対象範囲、開発者の目標、制約、原則、コミュニケーション様式、指示が衝突したときの優先規則である。対象範囲には、どのモデルに適用するか、企業が準拠をどう評価するか、社内システムにも同じ原則を適用するかを明記する。
報告書はOpenAI、Anthropic、Alibabaの公開文書と開発者への聞き取りを基にしている。作業を4段階に整理し、specの作成、公開と更新、訓練への反映、実際の行動の測定を挙げる。最後に、企業、政府、研究機関、市民社会組織へ12の提言を示した。
公開文書が開発者、法務、外部評価者をつなぐ
企業内では、model specがengineering、製品、法務、policyの共通基準になる。問題のあるルールと、妥当なルールに従わなかったモデルという2種類の失敗を区別しやすくなる。文書は訓練データやsafeguardsの設計にも利用できる。
社会にとって重要なのは、宣言された行動と実際の結果を比較できる点だ。執筆者らは、公開版管理、重要な変更の明示、条項とリスク別の結果、社内運用モデルに対する独立評価者のアクセスを提言する。また、任意のGPAI Code of Practiceの安全章にあるMeasure 7.1は、システミックリスクを持つモデルについて、原則、指示の優先順位、拒否対象、system promptを含む報告を署名企業に求めていると説明する。
文書化されたルールだけでは実際の行動は分からない
報告書が引用する研究によれば、主要モデルがspecsに従う割合は70から80 %にとどまる場合がある。総合スコア1つでは、丁寧な口調と、取り消せない操作での失敗との重大な違いも隠れてしまう。そこで執筆者らは、条項別の結果、例外の記録、評価範囲の限界を示すよう求める。
権力の問題も残る。通常、モデルを販売する企業自身がspecを書き、社内の承認手続きは不透明である。公開文書から意図は読めるが、モデル、担当者、関連する社内情報にアクセスできなければ、外部評価者は何が訓練と本番運用に反映されたかを確認できない。
公開変更履歴と再現可能なevalsがspecsの実効性を決める
対象となるモデル版を企業が明記し、重要な変更を示し、独立研究者が再現できるevalsを公開すれば、この枠組みは重みを持つ。社内モデルでの逸脱や、ルール変更につながったincidentの記録も強い判断材料になる。
次の課題はmodel specsからsystem specsへの移行だ。製品の行動はsystem prompts、フィルター、ツール、権限にも左右される。他人のアカウントで操作したり、お金を使ったりできるエージェントでは、モデルだけを説明する文書は地図の一部にすぎない。
Lilithの判定
model specは、運行会社が自分で書き、自分で検査している時刻表に近い。利用者が遅延、経路変更、独立検査員の報告を確認できて初めて、信頼が始まる。