Artificial Analysisがテストを非公開化、オープンモデルとの差は3ポイントから12ポイントに拡大

Artificial Analysisは10月27日、Intelligence Index v5を公開した。初めて評価の大半、つまり60 %が、非公開のテストセットや回答を伏せた評価で構成される。最良のオープンモデルとトップの差は12ポイントに開いた。バージョン4.3では3ポイントだった。

新指標はGDPval-AAを外し、オープンモデルの遅れを4倍と測った

同社はGDPval-AA v2.1、SciCode、AA-LCRを指標から外した。新たに加わったのは、Cognitionの非公開ベンチマークFrontierCode 2.0だ。実在するオープンソースリポジトリの132タスクで構成され、メンテナーがマージする変更だけが得点になる。もう一つはターミナル上で70の科学タスクを解くTerminal-Bench-Science。Humanity's Last Examは、1,000問に精査したHLE-Diamondに置き換わった。指標は知識労働、コーディング、科学、一般知識の4分野で、それぞれ25 %ずつの重みを持つ。

首位はClaude Opus 5.5（max）の58ポイントで、GPT-6 Astraの57、GPT-6.1 Solの55が僅差で続く。上位5モデルはAnthropicとOpenAIが占め、Gemini 4 Argonは50だった。最良のオープンモデルKimi K3.1 Proは46ポイントを得たが、重みはまだ公開されていない。実際にダウンロードできるモデルでは、DeepSeek V4.1 Flash 1017とGLM-5.3が32ポイントで並ぶ。首位より26ポイント低く、小型のクローズドモデルClaude Haiku 5.5の36にも届かない。

オープンモデルが最も苦戦したのはTerminal-Bench-Scienceだ。GPT-6 Astraはタスクの63 %を解いたが、Kimi K3.1 Proは34 %、DeepSeek V4.1 Flashは13 %にとどまった。他のオープンモデルの多くは10 %未満だった。Ethan MollickはXで、この結果は割り引いて受け止めるべきだが、Fable級のオープンモデルがまだ現れていないという全体的な印象とは一致すると述べた。

安いオープンの代替を当てにしていたなら、タスク単価を計算し直す必要がある

少し前まで、オープンモデルはクローズドの最先端に約3か月遅れているとされてきた。以前取り上げた講義でNathan Lambertもそう論じ、根拠にしたのはまさにArtificial Analysisのデータだった。新指標はこの安心材料を弱める。モデルがターミナルで何十ステップもこなすエージェント型タスクでは、知識テストよりはるかに大きな差が出る。

コスト面から自社ホスティングを検討する企業にとっては、別の数字のほうが重要だ。GPT-6.1 Sol（max）はOpusに4ポイント差まで迫り、指標タスク1件あたり1.27ドルで済む。Opusは10.04ドルだ。安価なクローズドモデルの存在は、オープンモデル最大の価格面の利点を奪う。データの機密性、オフライン運用、独自のファインチューニングが決め手になる場面では、オープンウェイトは今も十分に意味を持つ。ただ、エージェント業務で最先端の安価な代用品になるには、まだ力不足だ。

指標からは、推論努力の設定が以前より重くなったこともわかる。Opus 5.5は低設定で35ポイント、最大設定で58ポイントだが、コストは10倍になる（0.98ドル対10.04ドル）。タスクあたりの出力トークンの中央値は3万5,000から5万9,000に増えた。100万トークンあたりの単価だけでモデルを比べると、請求書の半分しか見えない。

差を測る物差しが変わり、跳ね上がりの一部は方法論が生んだ

3ポイントと12ポイントの比較は、2本の異なる物差しの比較だ。バージョン4.3とv5では、テストも重みもエージェント型作業の比率も違う。非公開セットへの移行は、モデルが学習中に公開問題を見ていたケースも減らす。オープンモデルがその恩恵をクローズドより多く受けていたなら、以前の小さな差の一部は錯覚だったことになる。ただしこれは仮説にすぎない。Artificial Analysisはこれを検証しておらず、同じモデルを両バージョンで並べた内訳も公表していない。

非公開セットには裏面もある。外部の誰も結果を再現できず、全体像は1社と、そのハーネスStirrupに依存する。FrontierCodeは自社でもコーディングエージェントを販売するCognitionのものだ。オープンモデルは別の環境向けに調整されていることが多く、落ち込みの一部は重みではなくハーネスに起因する可能性もある。

決め手はKimi K3.1 Proの重みと、2つ目の独立した測定

最初の試金石はすぐに来る。Moonshotは以前の発表で、Kimi K3.1 Proの完全な重みを11月4日までに公開すると約束している。そうなれば、最良のオープンモデルが他者の手でも46ポイントを保てるのか、最先端との差が本当に12ポイント前後で落ち着くのかが見えてくる。

2つ目のシグナルは、他の誰かが同様の落ち込みを測定するかどうかだ。たとえばEpoch AIで、Artificial Analysisは新しいProgress Indexの設計でその成果を土台にしている。次のDeepSeekやGLMがTerminal-Bench-Scienceを1桁台から引き上げれば、議論は再び「何か月遅れか」に戻る。そうでなければ、企業がオープンモデルを選ぶ理由は性能ではなく、データを自分で管理できることになる。

Lilithの判定

Artificial Analysisが試験問題を金庫にしまった途端、オープンモデルと首席の差は一夜にして4倍に開いた。誰かが自前の問題集で確かめるまで、生徒の実力が落ちたのか、それとも以前は問題を知っていただけなのかはわからない。