限定的な事実検証ではAIが人を上回った。それでも人の確認作業は消えない

Ethan Mollickは、最新のAIエージェントが、見つけにくい事実の検索と研究上の主張の検証で人間を上回るという比較を公開した。数字は印象的だ。ただし、その結果を日常業務全般に当てはめる部分はMollickの解釈であり、2つの研究が直接示した結論ではない。

2つの試験でエージェントが優位でも、測っている作業は異なる

BrowseCompでは、人間の調査者に難問1問あたり約2時間が与えられた。参照回答と一致したのは1,255件中317件で、25.3 %だった。Mollickの図では新しいエージェントシステムが約90 %に達するが、研究機関ごとに計算予算と構成は異なる。

ACL 2026のDeepFact研究は、詳細な調査報告に含まれる主張を検証した。博士課程レベルの専門家が単独で作業した場合、正解が既知の非公開項目で60.8 %だった。証拠を監査し、benchmarkのラベルを修正できる追加3ラウンド後には90.9 %まで上昇した。DeepFactEval自体は固定版benchmarkで83.4 %を記録した。

人の役割は検索作業から問いの設計と失敗時の判断へ移る

チームにとって重要なのは、モデルが有能な第二の目になり得ることだ。空の検索欄から始める人間より速く、情報源を確認し、主張を分解し、矛盾を指摘できる。したがって、すべての文を人が最初から確認する運用だけが選択肢ではない。

一方で、問いを選び、許容できるリスクを決め、誤りの影響を評価するのは人間だ。社内メモ、訴訟書類、薬の投与量では必要な管理が違う。その責任をbenchmarkは引き受けない。

限定的なbenchmarkから日常業務へ進むMollickの議論には飛躍がある

BrowseCompは、見つけにくい1,266問を意図的に集め、最終回答だけを採点する。DeepFactは正解が既知の143件を使い、そのうち120件は意図的に根拠なしとされた。すべてを「根拠なし」と答えるだけでも83.9 %になる。

また、依頼の不足、問題設定の誤り、古い社内文書をエージェントが確実に発見できるとは示していない。厳密に定義した課題で、検索と監査に強いことを示した結果だ。価値は大きいが、主張の範囲は狭い。

実務evalsと見逃した誤りの損失が、必要な確認量を決める

組織は実際の文書と社内情報源を使い、複数モデルを繰り返し試すべきだ。平均精度だけでなく、どの種類の誤りが起き、顧客に届く前に担当者が発見できるかを測る必要がある。

同じ検索予算による独立再現も重要な指標になる。そこで初めて、モデルの進歩と、長い実行時間、複数エージェント、丁寧に設計された試験の効果を切り分けられる。

Lilithの判定

担当者が全リンクを開き直す必要はなくなっても、赤い停止ボタンは手放せない。benchmarkが測るのは命中率であり、誤射の損失ではない。