Microsoft、顧客データの代わりに合成企業でCopilotを評価

Microsoft Researchは、Copilotを評価するために企業全体を合成するプラットフォームを構築した。数百人の従業員、組織構造、メール、会議、文書、時間とともに変化する履歴を含む。製薬、資本市場、ソフトウェア会社を模した3つの環境があり、顧客データは取り込まない。

3つの人工企業が機密性の高い顧客環境を置き換える

組織の構造は、職業データベースO*NET、求人情報、米国SECへの提出書類などの公開情報に基づく。これらから役職、階層、業務、業界特有の文脈を組み立てる。メッセージ、文書、会議記録そのものは合成データとして生成される。

さらに、Copilot向けの質問を作り、データ上の根拠、自然さ、重複の有無を検証する。先週木曜の決定や前回の四半期レビュー以降の変化など、時間に依存する質問も試せる。Microsoftは、どの工程でも実際の顧客データを使わないとしている。

evalsは少数のテストから再現可能な企業基盤へ変わる

一般的なbenchmarkでは、Copilotがプロジェクト、チーム間の関係、長期的な意思決定を正しく追えているか分からない。合成企業なら、製品チームは安定した回帰テスト環境を持ち、モデルやretrieval層の変更後も同じ評価を再実行できる。

Microsoftは、評価データセット1件あたり約10万ドル、プロジェクト全体で30万ドルを節約できたと推定する。数日かかっていた手作業は自動実行に置き換わった。enterpriseチームにとっては、個人情報や顧客情報の制約を避けて社内共有できる点の方が重要だ。

0.9という値はシミュレーションの忠実度を測る

Microsoftによると、複合品質指標は初期の生成手法より39％改善した。一部の業界環境は1.0点中0.9点を超えた。ただし、これは構造、文脈、統計的な忠実度に関する社内指標であり、顧客環境におけるCopilotの精度を独立機関が測った結果ではない。

合成データは、作成者が想定する企業像も引き継ぐ。求人情報やSEC文書は役職や規模を表しやすいが、非公式な判断、不完全な記録、現場固有の言葉、特定チームの力関係は捉えにくい。

本番の障害との相関がプラットフォームの価値を決める

Microsoftは今後、対象業界を増やし、業務フローをさらに詳しくモデル化する予定だ。決め手になるのは、合成企業で見つけた失敗が、安全に集約したtelemetry、ユーザーの声、本番障害で後から見つかる問題を予測できるかどうかだ。

有用なevalは、顧客より先に回帰を見つける。Microsoftが自ら入れた前提だけを測る整った環境にとどまれば、正確そうな数字を出しながら実務を見落とす。

Lilithの判定

合成企業はCopilotの衝突試験に使う優秀なダミーだ。ただし、判断の半分が立ち話で決まり、残りが記録されない現実の職場と取り違えてはいけない。