IBM、GPT-4.1に自らの失敗から作った「カンペ」を渡す　τ²-benchの小売部門でフロンティアモデルを上回る

IBM Researchは、新しいモデルもfine-tuningもなしに、カスタマーサービス用エージェントを改善できることを示した。同社のツールALTK-Evolveは、GPT-4.1に学習用タスクをこなさせ、成功と失敗から短いルールを抽出させた。そのルールをsystem promptに追加したところ、エージェントはτ²-benchの小売部門でPass^4 67.5%を達成した。IBMによれば、2026年10月12日時点のリーダーボードの全エントリーを上回ったという。

GPT-4.1は292のルールを自ら書き、67.5%のタスクで4回すべて成功した

Sierra社のτ²-benchは、顧客との会話をシミュレーションするベンチマークだ。エージェントは注文の検索や返金といったツールを使い、文書化された社内ポリシーを守らなければならない。最終的なデータベースの状態が期待どおりに一致した場合にだけ、タスクは成功とみなされる。Pass^4は、4回の独立した試行すべてでタスクを解いたことを意味する。

ルールは単純なmarkdownのリストだ。たとえば「注文に手を付ける前に顧客の本人確認をする」「変更の前に内容を要約し、明示的な同意を待つ」といったものである。ルールを抽出するのは、その後に顧客対応を行うのと同じモデルだ。人手によるアノテーションはなく、モデルの重みも変わらない。

学習に使っていないテスト用タスクでは、小売部門のPass^4が292のルールすべてを使った場合に57.5%から67.5%へ上がった。航空部門では35%から45%に改善したが、こちらで最も良かったのは出現頻度の高い14のルールだけを使った場合だった。リーダーボード全体では、小売のエージェントはτ²-benchの合成データでfine-tuningされたRAFT-30B-A3B(61.4%)にも勝った。

企業はモデルを替えずにプロンプトの修正でエージェントを改善できる

サポート窓口でエージェントを運用するチームにとって、これは実用的な知らせだ。新しいモデルを待ったり、fine-tuningに費用をかけたりする代わりに、会話ログを集めてモデルに業務ルールを抽出させればよい。ルールは人が読める。サポート責任者が目を通し、おかしなものを消し、足りないものを書き足せる。fine-tuningではそうはいかない。

コストは予想どおりの場所で増える。プロンプトが長くなったことで、小売部門の会話1件あたりのコストは0.084ドルから0.139ドルへ、65%上がった。一方で会話はわずかに短くなり、ターン数は0.3から0.4減った。ルールのブロックはすべての呼び出しで同じなので、本番環境ではprompt cachingでコストの多くを取り戻せる。より強力なモデルでも効果はあった。GPT-5.5は航空部門のPass^4を55%から70%に伸ばし、リーダーボードでは82%に達した。フロンティアモデルのエントリーは66から72%だった。

テストは小さく、リーダーボードではエージェントが教科書の一部を見ていた

テストセットは小さい。小売が40タスク、航空が20タスクだ。航空部門では1タスクでPass^4が5ポイント動くため、10ポイントの改善は2タスク分にすぎない。結果は興味深いが、これほど小さな標本では安定した改善とノイズを見分けにくい。

二つ目の問題はリーダーボードだ。τ²-benchはタスク全体を採点するため、エージェントがルールを抽出した学習用タスクも含まれる。IBMはこの点を率直に認め、テスト用タスクの結果を別に示している。さらに「フロンティアモデルなしで首位」という見出しが当てはまるのは小売部門だけだ。航空部門でGPT-4.1は8位にとどまり、首位はGPT-5.5に切り替えて初めて取れた。しかも全実行でシミュレーション上の顧客を演じたのはGPT-5.5で、エージェントの相手は怒った人間ではなくモデルだった。

社内ポリシーが変わってもカンペが通用するかが分かれ目だ

本当の試験はベンチマークの外で行われる。社内ポリシーは変わり、キャンペーンは終わり、返品期限も動く。ポリシーが変われば、ルールも学び直さなければならない。そうしなければ、エージェントは昨日の手順を自信たっぷりに適用し始める。誰かがALTK-Evolveを実際のサポートに導入し、カンペをどれだけ速く更新できるかを公表するかが注目される。

二つ目のシグナルは、τ²-benchの公式リーダーボードが結果を受け入れるかどうかだ。IBMはpull request #542と#551として結果を提出した。ALTK-EvolveのライブラリはGitHubで公開されており、APIを使える人なら誰でも主張を検証できる。

Lilithの判定

IBMは旧世代のモデルのポケットに292項目のカンペを忍ばせ、そのモデルはカスタマー窓口で新しい同僚たちを追い抜いた。ただし試験の一部は、カンペを書き写した問題そのものから出ていたし、航空券の窓口で勝てたのはGPT-5.5に替えてからだった。