Lilith.
⌕
編集イラスト: SatBenchではAIベンチマークの63%が攻略済み、独立評価だけなら24%
Lilithのイラスト · 編集リミックス

SatBenchは、頻繁に引用される173件のAIベンチマークのうち109件が85%の基準を超えたと算出した。ただし同じデータを独立評価だけに絞ると24%になる。見出しの数字には、研究所が自社モデルを採点した結果も多く含まれている。

1年間で20ポイント上昇した

Ethan MollickはBenchmark Almanacのデータを基にSatBenchを作った。対象はAI研究所のリリース記事で10回以上言及され、数値が高いほど良い百分率のベンチマークだ。報告された最高スコアが85%に達すると攻略済みと判定する。

指数は2025年1月の31%から2026年1月に46%となり、現在は63%に達した。過去12か月の上昇幅は20ポイントである。2025年に公開されたベンチマークが85%へ達するまでの期間の中央値は約14か月で、2023年と2024年の約20か月から短くなった。

スコア表は導入判断より早く古くなる

モデルを選ぶチームにとって重要なのは、研究所の順位よりベンチマークが見分ける力を失う速さだ。多くのモデルが上限付近に集まれば候補間の差が見えなくなり、過去のスコアは新しい導入環境をほとんど説明しない。

研究所はより難しいテストへ入れ替えて対応している。最近のリリース記事で使われる集合では攻略済みが45%にとどまる。新しいagent課題や実務課題が追加され続けるからだ。実際の調達には、現場のデータ、価格、レイテンシ、業務に損害を与える失敗を使った独自のevalsが必要になる。

85%という基準は異なる証拠を混ぜている

63%という数字は、公式leaderboard、異なるharness、tool use、研究所自身の発表をまとめている。85%を初めて超えた100件のうち75件はベンダー自身のリリース記事が出所で、その75件のうち独立評価で後から同等以上を確認できたのは10件だけだった。独立した実行だけなら指数は24%になる。

結果は定義にも大きく左右される。基準を75%にすると82%、95%にすると25%になる。また新しいベンチマークはリリース記事で10回言及されるまで対象に入らないため、今年公開された難しいテストは少なく数えられている。

独立した再現と実務テストが結論を決める

注目すべき信号は次の基準突破ではなく、独立して再現された結果が増えるかどうかだ。63%と24%の差が縮まれば、ベンチマークが急速に使い切られているという主張はかなり強くなる。

SatBenchで攻略済みが18%にすぎない実務分野と、45%のagent課題も重要だ。試験問題に似たテストの外でもモデルが進歩しているかを示せる。

Lilithの判定

研究所は自分たちの答案を採点し、63%を合格済みにした。独立した教師が確認できたのは24%なので、ベンチマークの卒業式を予定表に入れるのはまだ早い。