AIエージェントは結果だけでは測れない。プリンストン主導の論文が評価の33の潮流を整理

プリンストン大学のアルビンド・ナラヤナン氏とサヤシュ・カプール氏のグループが、スタンフォード、英国AI Security Institute、ブルッキングスの共著者とともに論文「Emerging Trends in AI Agent Evaluation」を公開しました。33の潮流を整理し、エージェントのスコアを示されたときに評価者、資金提供者、一般市民が問うべき質問を提示しています。

ベンチマークのスコアはエージェントについて多くを語らなくなった

著者らは、約3年にわたるエージェント評価の研究を土台にしています。潮流は、科学と手法、研究課題、そして評価を担う人や組織のエコシステムという3つの軸で整理されています。

中心的な問題ははっきりしています。モデルなら回答を比べれば済みました。エージェントの場合、評価者は行動の軌跡全体を精査しなければなりません。どのツールを呼び出したのか、近道をしなかったか、成功や失敗の原因がどの構成要素にあるのか。ExploitBenchでは、一部のエージェントの評価に数万ドル相当のクレジットがかかりました。評価基盤の構築と保守にかかるエンジニアリングの手間は、この金額に含まれていません。

さらに、エージェントが残すログは人間が読み切れない量に達しています。OpenAIとHugging Faceをめぐるインシデントを事後に調べた際、評価者は別のエージェントを使って有害な行動を探しましたが、その方法にも限界と偏りがあることを認めています。

研究室での結果はそのまま企業に持ち込めない

論文は、ある層で得た証拠が次の層でもそのまま通用するとは限らない、と繰り返し指摘します。研究室でこなせたタスクでも、特定の企業の現場ではつまずくことがあります。著者らはMETRのランダム化比較試験を引用しています。経験豊富なオープンソース開発者がAIツールを使ったところ、速くなるという予想に反して、タスクの完了に19%長くかかりました。

エージェントを導入する企業にとっての教訓は実務的です。リーダーボードの数字は出発点にすぎません。自社の人員の手間が本当に減るかを知りたければ、自社の業務プロセスの中で測る必要があります。著者らはさらに問いの立て方にも触れています。エージェントがタスクを自動化できるかを問うのか、人間がよりよく仕事をする手助けになるかを問うのか。前者ばかり測れば、誰が置き換え可能かは分かっても、人間とエージェントがどう協働すべきかは分かりません。

評価者の独立性は資金とアクセスで決まる

最も鋭いのは、そもそも誰が評価できるのかという部分です。最先端エージェントの評価費用が上がるほど、独立した評価チームが参加できるかは予算次第になります。モデルへのアクセスも重要です。各ラボは現在、生の推論ログではなく要約版のchain of thoughtしか公開していないため、外部の評価者は社内チームより少ない情報しか見られません。著者らは報復への懸念や、結果をどう透明に公表するかという課題にも触れています。

ここが論文の弱点でもあります。ラボ、資金提供者、リーダーボード運営者、政策立案者への提言は「機会」や「必要性」として書かれています。ラボに生ログの開示を迫る仕組みは示されていません。新しいベンチマークや新たな測定結果を期待する読者が手にするのは、全体の見取り図です。

費用付きのリーダーボードと生ログの開示が変化の目安になる

最初の手がかりはリーダーボードです。著者らは、運営者が評価コストの上昇を一般にも分かるよう示すことを求めています。スコアの横に1回あたりの実行費用が載れば、購入者はベンダーの主張を検証するのにいくらかかるかを把握できます。2つ目の手がかりは、外部チームがエージェントの生の軌跡にアクセスできるようになるかどうかです。

3つ目の試金石は公共部門です。著者らは、政府による導入では初日から継続的に評価を組み込み、AI Security Institutesが新たな参加者を迎え入れることを求めています。1年後もエージェントを評価しているのが主に売り手自身なら、この論文はよく書けた警告で終わるでしょう。

Lilithの判定

いまのエージェントは、多くの場合メーカー自身が作り費用も払った試験を受けており、外部の試験官はそのノートの要約版しか見られません。それが変わるまでは、どのスコアも親が署名した通知表として読むべきです。