2026-11-12 · ← Novinky
Anthropic zrychlil vývoj modelů 1,9krát, veřejnost však nevidí klíčové důkazy
METR odhaduje, že schopnosti interních modelů Anthropic rostou od října 2025 tempem 1,9krát vyšším než dřív a většinu zrychlení patrně přineslo využití AI ve výzkumu. Výsledek je důležitý, ale stojí i na důkazech, které Anthropic nechal začernit.
Obrázek se nepodařilo načíst.
METR dostal na 11 týdnů mimořádný přístup k interním datům Anthropic a zkoumal, zda AI urychluje vývoj dalších modelů. Zpráva podporuje intuici, že kvalitu nových modelů lze někdy poznat v každodenní práci dřív než z veřejných benchmarků. Zároveň ukazuje, proč samotný pocit nestačí.
Interní benchmarky rostou 1,9krát rychleji
METR analyzoval období od 12. srpna do 29. října 2026. Podle indexu AECI rostla skóre interních modelů od října 2025 tempem 1,9krát vyšším než v předchozím období. U hlavního odhadu uvádí 95% interval spolehlivosti 1,5 až 2,8. Robustnostní varianty daly širší rozpětí 1,1 až 2,9.
Hodnotitelé odhadují, že většinu současného zrychlení, možná kolem 80 %, způsobilo používání AI ve výzkumu a vývoji. Podle rozhovorů zatím převažuje pomoc lidem nad plně autonomní prací na nejdůležitějších částech trénování modelů.
Vibe-testing zachytí zlom, nikoli jeho příčinu
Ethan Mollick k výsledku poznamenal, že potvrzuje zkušenostní hodnocení modelů a že Claude 3.7 Sonnet v roce 2025 výrazně překonal očekávání. Takový úsudek může včas zachytit změnu užitku při reálné práci. Neumí však oddělit lepší model od lepšího agentního prostředí, delšího inference budgetu nebo změny úloh.
METR právě toto rozlišení zkoušel pomocí benchmarků, interních dat a rozhovorů. Pro produktové týmy z toho plyne praktické pravidlo: subjektivní dojem je dobrý alarm, ale špatný měřicí přístroj.
Anthropic začernil většinu nejdůležitějších podkladů
Anthropic měl právo odstranit neveřejné informace a podle METR začernil většinu důkazů, které nejvíc ovlivnily posouzení rizika. Veřejnost tak nemůže klíčovou část argumentu nezávisle přezkoumat. METR navíc neměl přímý přístup k neveřejným modelům a velkou část analýzy prováděl s pomocí Claude.
Samotné AECI se soustředí na dobře vymezené, ověřitelné úlohy. Výsledek proto nelze automaticky převést na stejně rychlý růst ve vágní výzkumné práci ani na produktivitu běžné firmy.
Další měření musí oddělit model, workflow a lidskou práci
Rozhodující budou opakovaná měření na nových modelech, s předem určenou metodikou a s menším prostorem pro redakci důkazů výrobcem. Týmy uvnitř firem by měly vedle pocitu sledovat dokončené experimenty, čas na kontrolu, přepracování a celkové náklady. Teprve tato kombinace ukáže, zda se výzkum opravdu zrychlil, nebo jen působí plynuleji.
Lilithin verdikt
Vibe-testing umí ucítit, že se vlak rozjel. METR přidal tachometr, jenže Anthropic přes část ciferníku přelepil černou pásku.