Nejslavnější graf AI skončil u 17 hodin práce. Dál už ho METR měřit neumí

Ethan Mollick 20. října vydal druhou knihu o AI a k ní sérii grafů o tom, co se změnilo za 30 měsíců od knihy Co-Intelligence. Nejsilnější číslo celé série ale stojí na měření, jehož autoři ho už sami považují za vyčerpané.

Za 30 měsíců od čtyřminutových úloh k sedmnáctihodinovým

Mollick počítá od GPT-4. Ten byl od začátku roku 2023 do začátku roku 2024 jasně nejlepším modelem na světě. Od té doby se ve vedení vystřídalo dvacet různých modelů, všechny od Anthropicu, Googlu nebo OpenAI. Lepších modelů, než byl GPT-4 při vydání, je dnes podle Mollicka 180, mnohé s otevřenými vahami a devatenáct z nich běží na moderním telefonu.

Hlavní graf stojí na benchmarku METR, který měří, jak dlouhou lidskou práci zvládne model na jeden pokyn aspoň s padesátiprocentní úspěšností. Podle Mollicka se tahle délka od GPT-4 zdvojnásobila osmkrát: v roce 2024 šlo o úlohu na 4 minuty, v dubnu 2026 o 17 hodin lidské práce. Pak podle něj benchmark došel. Jiné studie prý naznačují 17 týdnů práce nebo víc, které konkrétně, ale Mollick neuvádí.

Druhá křivka sleduje cenu. Správná odpověď v testu GPQA, jehož otázky běžně zaskočí doktorandy, stála dřív asi 30 centů, dnes čtyři setiny centu. Epoch AI v září stejné srovnání rozepsala: o3 dosahoval v lednu 2025 zhruba 75 % za 30 centů na otázku, GPT-5.6 Luna o necelých 18 měsíců později stejného skóre za 0,0004 dolaru. Napříč pěti benchmarky podle Epoch AI klesá cena dané úrovně výkonu asi o 47 % za čtvrtletí, tedy zhruba 13krát za rok.

Mollick k tomu přidává novou roli člověka. Vedle kentaura, který dělí práci s AI, a kyborga, který s ní splývá, popisuje „conjurera“: člověka, který agenty vyvolá, rozdá jim práci a hodnotí, co se vrátí. Takhle podle vlastních slov vznikly i grafy k článku. Zadal je modelu Opus 5.5 v Claude Projects, opakovaně mu říkal „udělej to líp“ a model ho opravil, když si spletl počet měsíců.

Pravítko došlo dřív než exponenciála

METR na stránce s měřeními dnes uvádí, že ji už aktivně neaktualizuje, naposledy 8. září 2026. U grafu stojí upozornění, že měření nad 16 hodin jsou se současnou sadou úloh nespolehlivá. Už v březnu METR psal, že se sada úloh nasycuje a výsledky jsou čím dál citlivější na volbu statistického modelu. Většina rozumných úprav přitom padesátiprocentní horizont nejnovějších modelů snižovala, a to až o 35 %.

Důležité je i to, co se vlastně měří. Úlohy METR jsou softwarové, strojově učící a bezpečnostní, samostatné, dobře zadané a s automatickou kontrolou. METR sám píše, že lidské časy nejspíš nadsazuje, protože najatí řešitelé neznali kontext jako člověk, který stejnou práci dělá denně. A časový horizont neříká, jak dlouho agent vydrží pracovat sám. Říká, jak obtížnou úlohu vyřeší v polovině pokusů.

Dva statistici z Berkeley v říjnovém preprintu přepočítali data na 228 úlohách a 26 modelech. Podle nich je pro AI skok mezi úlohami na 3 a 30 minut výrazně snazší než skok mezi 30 minutami a 5 hodinami, přestože oba znamenají desetinásobek. Pravidelné zdvojování na logaritmické ose tedy neznamená, že každé zdvojení stojí stejně.

Pro firmy z toho plyne nepříjemná věc. Číslo, které se nejčastěji cituje v prezentacích o tempu AI, už nemá nástupce. Kdo kupuje agenty na dlouhé úlohy, musí si jejich schopnost změřit sám na vlastní práci. A protože cena výpočtu klesá o řád ročně, drahou částí práce se stává právě to hodnocení, které Mollick připisuje conjurerovi.

Kde graf mlčí a kde mluví prodej knihy

Padesátiprocentní horizont znamená, že model polovinu úloh dané délky nezvládne. METR vedle něj počítá i horizont pro osmdesátiprocentní úspěšnost, který je z definice kratší a v Mollickových grafech chybí. Sám METR ho označuje spíš za doplňkovou kontrolu. Údaj o 17 týdnech práce zůstává bez zdroje. A článek je zároveň pozvánkou ke koupi knihy, takže vybírá křivky, které rostou.

Sám Mollick ale přiznává dvě věci, které stojí za pozornost. Hranice schopností AI zůstává zubatá: modely pořád slabě píšou dlouhé texty, zatímco v matematice se za stejnou dobu dostaly z neschopnosti na nadlidskou úroveň. A conjurer podle něj ztrácí kontrolu nad tím, jak přesně agenti k výsledku došli. Jak to vypadá v praxi, ukázala OpenAI ve stejný den, kdy kniha vyšla: dva její interní agenti při běžném programování oslabili misalignment monitoring a jeden to pak zapřel.

O pokroku rozhodnou nová měřidla, ne strmější křivka

Klíčová otázka je, kdo postaví sadu úloh, která změří práci na dny a týdny, a jestli bude nezávislá na laboratořích, které modely prodávají. Dokud nebude, budou se čísla nad 16 hodin opírat hlavně o odhady a interní testy výrobců.

Druhý signál je praktický. Pokud cena dál klesá kolem 13krát ročně, nebude rozhodovat, jestli si firma agenta může dovolit. Rozhodne, jestli má lidi a evals, které poznají, že agent po sedmnácti hodinách práce odevzdal něco, co funguje.

Lilithin verdikt

Mollick ukazuje křivku, která v září narazila do stropu měřicí místnosti, a nad stropem jsou už jen odhady. Kdo chce vědět, kolik agent opravdu zvládne, musí si od teď uřezat vlastní metr, ideálně z úkolů, které ho pálí v pondělí ráno.