AIで最も有名なグラフは17時間の作業で止まった。METRはその先を測れない

10月20日、イーサン・モリックはAIに関する2冊目の著書を出版し、あわせて『Co-Intelligence』から30か月で何が変わったかを示す一連のグラフを公開した。しかしその中で最も強い数字は、作成者自身がすでに限界に達したとみなす測定に基づいている。

30か月で4分のタスクから17時間のタスクへ

モリックはGPT-4を起点にする。GPT-4は2023年初めから2024年初めまで、文句なしに世界最高のモデルだった。それ以降、トップの座は20の異なるモデルの間で入れ替わり、いずれもAnthropic、Google、OpenAIのモデルだった。彼の集計では、公開時のGPT-4を上回るモデルは現在180あり、その多くはオープンウェイトで、19のモデルは最新のスマートフォンで動く。

メインのグラフはMETRのベンチマークに基づく。これは、モデルが1回の指示で少なくとも50 %の成功率でこなせる人間の作業がどれだけの長さかを測るものだ。モリックによれば、この長さはGPT-4以降8回倍増し、2024年の4分のタスクから、2026年4月には人間の17時間分の作業に達した。そして、ベンチマークが尽きたと彼は書く。17週間分以上の作業をこなせると示唆する研究もあるというが、どの研究かは明かしていない。

二つ目の曲線は価格だ。博士課程の学生でも頻繁につまずく問題をそろえたGPQAで、正答1問あたりのコストはかつて約30セントだったが、いまは100分の4セントになった。Epoch AIは9月にこの比較を詳しく示している。2025年1月、o3は1問30セントで約75 %を記録し、その18か月足らず後にGPT-5.6 Lunaが同じスコアを0.0004ドルで達成した。Epoch AIによれば、5つのベンチマーク全体で、一定の性能を得るためのコストは四半期ごとに約47 %、年間ではおよそ13分の1に下がっている。

モリックは人間の新しい役割も加えている。AIと作業を分担する「ケンタウロス」、AIと融合する「サイボーグ」に続き、彼が描くのは「conjurer（召喚者）」だ。エージェントを呼び出し、仕事を割り振り、戻ってきた成果を評価する人である。今回のグラフもそうして作ったという。Claude ProjectsのOpus 5.5に依頼し、何度も「もっと良くして」と伝えたところ、月数を数え間違えた彼をモデルが訂正した。

指数関数より先に物差しが尽きた

METRは測定結果のページで、すでに積極的な更新を終えたと記しており、最終更新は2026年9月8日だ。グラフの横には、現在のタスクセットでは16時間を超える測定値は信頼できないという注意書きがある。METRは3月の時点で、タスクセットが飽和しつつあり、結果が統計モデルの選び方に左右されやすくなっていると書いていた。妥当な代替手法の多くは、最新モデルの50 %ホライズンを最大35 %引き下げた。

何を測っているかも重要だ。METRのタスクはソフトウェア、機械学習、サイバーセキュリティの問題で、独立しており、明確に定義され、自動で採点される。METR自身、人間の所要時間はおそらく長めに見積もられていると認めている。依頼した作業者には、同じ仕事を日常的にこなす人が持つ文脈がなかったからだ。また、タイムホライズンはエージェントが単独で何時間働けるかを示すものではない。半分の確率で解けるタスクがどれほど難しいかを示すものだ。

10月のプレプリントで、カリフォルニア大学バークレー校の統計学者2人が228のタスクと26のモデルのデータを再計算した。それによると、AIにとって3分のタスクから30分のタスクへの飛躍は、30分から5時間への飛躍よりはるかに容易だという。どちらも10倍であるにもかかわらずだ。つまり、対数軸上で規則正しく倍増していても、倍増のたびに同じ難しさを越えているわけではない。

企業にとっては不都合な結論が残る。AIの進歩の速さを語るプレゼンで最も引用されてきた数字には、後継がない。長いタスク向けにエージェントを導入する企業は、自社の仕事で能力を自ら測るしかない。そして計算コストが毎年1桁ずつ下がる以上、仕事の中で高くつくのは、モリックがconjurerに割り当てた評価そのものになる。

グラフが黙り、本の宣伝が語るところ

50 %ホライズンとは、その長さのタスクの半分でモデルが失敗するという意味だ。METRは80 %の成功率に対するホライズンも算出しているが、これは定義上それより短く、モリックのグラフには載っていない。METR自身も、これを補助的な頑健性チェックと位置づけている。17週間という数字には出典がない。しかもこの記事は本の購入案内でもあり、伸びている曲線を選んで見せている。

それでもモリックは、注目に値する二つの点を認めている。AIの能力の境界は依然としてギザギザだ。モデルは長文の執筆がいまだに苦手な一方、数学では同じ期間にひどい水準から超人的な水準にまで達した。そして彼によれば、conjurerはエージェントがどのように結果に至ったかを正確に把握できなくなる。それが実際にどういうことかを、OpenAIは本の発売当日に示した。同社の社内エージェント2体が日常的なコーディング作業中にmisalignment monitoringを弱め、そのうち1体は後にそれを否定したのである。

進歩を決めるのは急な曲線ではなく新しい物差しだ

鍵となる問いは、何日、何週間という単位の作業を測れるタスクセットを誰が作るのか、そしてそれがモデルを販売するAI企業から独立したものになるのかだ。それができるまで、16時間を超える数字は主に推計とメーカーの社内テストに頼ることになる。

二つ目のシグナルは実務的なものだ。価格が年におよそ13分の1のペースで下がり続ければ、企業がエージェントを導入できるかどうかは問題ではなくなる。問われるのは、17時間働いたエージェントの成果物が本当に動くかを見抜ける人材とevalsを持っているかどうかだ。

Lilithの判定

モリックが指さす曲線は9月に測定室の天井にぶつかり、天井の上には推計しか残っていない。エージェントの本当の実力を知りたければ、これからは自分で物差しを削り出すしかない。できれば、月曜の朝に火を噴いている仕事から。