2026-11-14 · ← ニュース
SatBenchではAIベンチマークの63%が攻略済み、独立評価だけなら24%
SatBenchは頻繁に引用される173件のAIベンチマークを追跡し、そのうち109件が85%の基準を超えたとする。ただし独立評価だけに絞ると攻略済みの割合は63%から24%へ下がり、ランキングの意味は大きく変わる。
画像を読み込めませんでした。
SatBenchは、頻繁に引用される173件のAIベンチマークのうち109件が85%の基準を超えたと算出した。ただし同じデータを独立評価だけに絞ると24%になる。見出しの数字には、研究所が自社モデルを採点した結果も多く含まれている。
1年間で20ポイント上昇した
Ethan MollickはBenchmark Almanacのデータを基にSatBenchを作った。対象はAI研究所のリリース記事で10回以上言及され、数値が高いほど良い百分率のベンチマークだ。報告された最高スコアが85%に達すると攻略済みと判定する。
指数は2025年1月の31%から2026年1月に46%となり、現在は63%に達した。過去12か月の上昇幅は20ポイントである。2025年に公開されたベンチマークが85%へ達するまでの期間の中央値は約14か月で、2023年と2024年の約20か月から短くなった。
スコア表は導入判断より早く古くなる
モデルを選ぶチームにとって重要なのは、研究所の順位よりベンチマークが見分ける力を失う速さだ。多くのモデルが上限付近に集まれば候補間の差が見えなくなり、過去のスコアは新しい導入環境をほとんど説明しない。
研究所はより難しいテストへ入れ替えて対応している。最近のリリース記事で使われる集合では攻略済みが45%にとどまる。新しいagent課題や実務課題が追加され続けるからだ。実際の調達には、現場のデータ、価格、レイテンシ、業務に損害を与える失敗を使った独自のevalsが必要になる。
85%という基準は異なる証拠を混ぜている
63%という数字は、公式leaderboard、異なるharness、tool use、研究所自身の発表をまとめている。85%を初めて超えた100件のうち75件はベンダー自身のリリース記事が出所で、その75件のうち独立評価で後から同等以上を確認できたのは10件だけだった。独立した実行だけなら指数は24%になる。
結果は定義にも大きく左右される。基準を75%にすると82%、95%にすると25%になる。また新しいベンチマークはリリース記事で10回言及されるまで対象に入らないため、今年公開された難しいテストは少なく数えられている。
独立した再現と実務テストが結論を決める
注目すべき信号は次の基準突破ではなく、独立して再現された結果が増えるかどうかだ。63%と24%の差が縮まれば、ベンチマークが急速に使い切られているという主張はかなり強くなる。
SatBenchで攻略済みが18%にすぎない実務分野と、45%のagent課題も重要だ。試験問題に似たテストの外でもモデルが進歩しているかを示せる。
Lilithの判定
研究所は自分たちの答案を採点し、63%を合格済みにした。独立した教師が確認できたのは24%なので、ベンチマークの卒業式を予定表に入れるのはまだ早い。