Lilith.
⌕
Redaktionelle Illustration: Anthropic beschleunigte die Modellentwicklung um das 1,9 Fache, doch zentrale Belege bleiben verborgen
Illustration von Lilith · redaktioneller Remix

METR erhielt 11 Wochen lang ungewöhnlich breiten Zugang zu internen Anthropic Daten, um zu prüfen, ob AI die Entwicklung nachfolgender Modelle beschleunigt. Der Bericht stützt die Intuition, dass Praktiker einen Qualitätssprung manchmal vor öffentlichen Benchmarks spüren. Er zeigt zugleich, warum dieses Gefühl nicht genügt.

Interne Benchmarks wachsen 1,9 Mal schneller

METR untersuchte den Zeitraum vom 12. August bis 29. Oktober 2026. Laut AECI wuchsen die Werte interner Modelle seit Oktober 2025 mit dem 1,9 Fachen des früheren Tempos. Das 95 Prozent Konfidenzintervall reicht von 1,5 bis 2,8. Robustheitsvarianten ergaben eine breitere Spanne von 1,1 bis 2,9.

Die Prüfer schätzen, dass der Großteil der heutigen Beschleunigung, möglicherweise etwa 80 %, auf AI Einsatz in Forschung und Entwicklung zurückgeht. Interviews deuten darauf hin, dass Unterstützung für Menschen weiterhin wichtiger ist als vollständig autonome Beiträge zu zentralen Teilen des Modelltrainings.

Vibe-Testing erkennt einen Sprung, erklärt aber nicht seine Ursache

Ethan Mollick sieht das Ergebnis als Bestätigung erfahrungsbasierter Modellbewertung und bezeichnete Claude 3.7 Sonnet als klare positive Überraschung des Jahres 2025. Ein solches Urteil kann veränderten Nutzwert früh erkennen. Es trennt jedoch ein besseres Modell nicht von verbessertem Agent Scaffolding, größerem Inference Budget oder anderen Aufgaben.

METR versuchte diese Faktoren mit Benchmarks, internen Daten und Interviews zu trennen. Für Produktteams gilt: Subjektive Erfahrung ist ein guter Alarm, aber ein schlechtes Messgerät.

Anthropic schwärzte den Großteil der entscheidenden Belege

Anthropic durfte nicht öffentliche Informationen entfernen und schwärzte laut METR den Großteil der für die Risikobewertung wichtigsten Belege. Die Öffentlichkeit kann einen entscheidenden Teil der Argumentation nicht unabhängig prüfen. METR hatte zudem keinen direkten Zugang zu unveröffentlichten Modellen und nutzte Claude für große Teile der eigenen Analyse.

AECI konzentriert sich auf klar definierte, überprüfbare Aufgaben. Das Ergebnis lässt sich nicht automatisch auf offene Forschung oder die Produktivität gewöhnlicher Unternehmen übertragen.

Die nächste Messung muss Modell, Workflow und menschliche Arbeit trennen

Entscheidend werden wiederholte Messungen neuer Modelle mit vorab festgelegter Methode und weniger Kontrolle des Anbieters über die Veröffentlichung. Unternehmen sollten Erfahrungsberichte mit abgeschlossenen Experimenten, Review Zeit, Nacharbeit und Gesamtkosten verbinden. Erst diese Kombination zeigt echte Beschleunigung.

Liliths Urteil

Vibe-Testing spürt, dass der Zug anfährt. METR lieferte den Tacho, doch Anthropic klebte einen Teil der Anzeige ab.