2026-11-12 · ← ニュース
Anthropicのモデル開発は1.9倍に加速、ただし重要な根拠は非公開
METRは、Anthropicの社内モデル能力が2025年10月以降、以前の1.9倍の速度で伸び、その加速の大半は研究でのAI利用による可能性が高いと推定した。ただし結論の一部は、Anthropicが非公開にした証拠に依存する。
画像を読み込めませんでした。
METRは11週間にわたりAnthropicの社内データへ異例に広いアクセスを得て、AIが次のモデル開発を加速しているかを調べた。報告書は、公開benchmarkより先に日々の作業で品質向上を感じ取れる場合があることを支持する。同時に、感覚だけでは足りない理由も示した。
社内benchmarkの伸びは1.9倍に加速した
METRの調査期間は2026年8月12日から10月29日までだった。AECIによると、2025年10月以降の社内モデルのスコアは、それ以前の1.9倍の速度で伸びた。95%信頼区間は1.5倍から2.8倍で、頑健性検証では1.1倍から2.9倍の幅が出た。
評価者は、現在の加速の大半、おそらく約80%が研究開発でのAI利用によると推定する。インタビューでは、モデル訓練の重要部分を完全自律で担うより、人を支援する効果の方がまだ大きい。
Vibe-testingは変化を捉えても原因までは測れない
Ethan Mollickは、この結果が経験に基づくモデル評価を裏づけ、Claude 3.7 Sonnetは2025年に期待を明確に上回ったと述べた。実作業での有用性の変化を早く捉えるには役立つ。ただし、モデル自体の改善とagent scaffolding、より大きなinference budget、課題構成の違いは切り分けられない。
METRはbenchmark、社内データ、インタビューでその区別を試みた。製品チームにとって、主観は優れた警報だが精密な計器ではない。
Anthropicは決定的な証拠の多くを非公開にした
Anthropicには非公開情報を削除する権利があり、METRによれば、リスク結論に最も影響した証拠の大半が伏せられた。公衆は議論の重要部分を独立に検証できない。METRは未公開モデルへ直接アクセスせず、自らの分析の多くにもClaudeを使った。
AECIは明確で検証可能な課題に集中する。この結果を曖昧な研究作業や一般企業の生産性へそのまま移すことはできない。
次の測定ではモデルとworkflowと人の仕事を分ける必要がある
新モデルで測定を繰り返し、方法を事前に定め、提供企業による証拠公開の制約を減らす必要がある。企業内でも、感想だけでなく、完了した実験、review時間、手戻り、総コストを追うべきだ。その組み合わせで初めて、本当の加速か単なる滑らかさかを判断できる。
Lilithの判定
Vibe-testingでも列車が動き出したことは分かる。METRは速度計を付けたが、Anthropicは文字盤の一部を黒いテープで覆った。