Najsłynniejszy wykres AI zatrzymał się na 17 godzinach pracy. Dalej METR już nie mierzy

20 października Ethan Mollick wydał drugą książkę o AI, a do niej serię wykresów o tym, co zmieniło się przez 30 miesięcy od Co-Intelligence. Najmocniejsza liczba w tej serii opiera się jednak na pomiarze, który sami autorzy uważają już za wyczerpany.

W 30 miesięcy od czterominutowych zadań do siedemnastogodzinnych

Mollick liczy od GPT-4, który od początku 2023 do początku 2024 roku był bezsprzecznie najlepszym modelem na świecie. Od tego czasu na prowadzeniu zmieniło się dwadzieścia różnych modeli, wszystkie od Anthropic, Google albo OpenAI. Według Mollicka lepszych niż GPT-4 w dniu premiery jest dziś 180 modeli, wiele z otwartymi wagami, a dziewiętnaście z nich działa na współczesnym smartfonie.

Główny wykres opiera się na benchmarku METR, który mierzy, jak długą ludzką pracę model wykona na jedno polecenie z co najmniej 50-procentową skutecznością. Według Mollicka ta długość od GPT-4 podwoiła się osiem razy: z zadania na 4 minuty w 2024 roku do 17 godzin ludzkiej pracy w kwietniu 2026. Potem, jak pisze, benchmark się skończył. Inne badania mają sugerować 17 tygodni pracy albo więcej, ale Mollick nie podaje, które.

Druga krzywa dotyczy ceny. Poprawna odpowiedź w teście GPQA, którego pytania regularnie zaskakują doktorantów, kosztowała kiedyś około 30 centów, a dziś cztery setne centa. Epoch AI rozpisało to porównanie we wrześniu: w styczniu 2025 roku o3 osiągał około 75 % za 30 centów za pytanie, a GPT-5.6 Luna niecałe 18 miesięcy później miał ten sam wynik za 0,0004 dolara. Na pięciu benchmarkach koszt danego poziomu wydajności spada według Epoch AI o około 47 % na kwartał, czyli mniej więcej 13 razy w skali roku.

Mollick dokłada też nową rolę człowieka. Obok centaura, który dzieli pracę z AI, i cyborga, który się z nią stapia, opisuje „conjurera”: kogoś, kto przywołuje agentów, rozdziela im pracę i ocenia to, co wraca. Tak według niego powstały wykresy do wpisu. Zlecił je modelowi Opus 5.5 w Claude Projects, wielokrotnie prosił „zrób to lepiej”, a model poprawił go, gdy pomylił się w liczbie miesięcy.

Miarki zabrakło szybciej niż wykładniczego wzrostu

METR na stronie z pomiarami podaje dziś, że nie jest ona już aktywnie aktualizowana, a ostatnia aktualizacja pochodzi z 8 września 2026 roku. Przy wykresie widnieje ostrzeżenie, że pomiary powyżej 16 godzin są przy obecnym zestawie zadań niewiarygodne. Już w marcu METR pisał, że zestaw zadań się nasyca, a wyniki coraz mocniej zależą od wyboru modelu statystycznego. Większość rozsądnych wariantów obniżała 50-procentowy horyzont najnowszych modeli, nawet o 35 %.

Ważne jest też to, co właściwie się mierzy. Zadania METR dotyczą oprogramowania, uczenia maszynowego i cyberbezpieczeństwa: są samodzielne, dobrze opisane i oceniane automatycznie. Sam METR przyznaje, że czasy ludzi są raczej zawyżone, bo wynajęci wykonawcy nie mieli kontekstu kogoś, kto robi tę samą pracę na co dzień. Horyzont czasowy nie mówi też, jak długo agent wytrzyma pracę bez człowieka. Mówi, jak trudne zadanie rozwiąże w połowie prób.

Dwóch statystyków z Berkeley przeliczyło w październikowym preprincie dane z 228 zadań i 26 modeli. Według nich dla AI przeskok od zadań na 3 minuty do zadań na 30 minut jest znacznie łatwiejszy niż od 30 minut do 5 godzin, choć w obu przypadkach to dziesięciokrotność. Regularne podwajanie na skali logarytmicznej nie oznacza więc, że każde podwojenie kosztuje tyle samo.

Dla firm wynika z tego niewygodny wniosek. Liczba najczęściej cytowana w prezentacjach o tempie AI nie ma następcy. Kto kupuje agentów do długich zadań, musi sam zmierzyć ich możliwości na własnej pracy. A skoro koszt obliczeń spada o rząd wielkości rocznie, najdroższą częścią pracy staje się właśnie ocena, którą Mollick przypisuje conjurerowi.

Gdzie wykres milczy, a mówi promocja książki

Horyzont 50-procentowy oznacza, że model nie radzi sobie z połową zadań danej długości. METR liczy też horyzont dla 80-procentowej skuteczności, z definicji krótszy, którego na wykresach Mollicka brakuje. Sam METR traktuje go raczej jako kontrolę pomocniczą. Liczba 17 tygodni nie ma źródła. A wpis jest jednocześnie zaproszeniem do kupna książki, więc wybiera krzywe, które rosną.

Mollick przyznaje jednak dwie rzeczy warte uwagi. Granica możliwości AI pozostaje poszarpana: modele wciąż słabo piszą długie teksty, a w matematyce w tym samym czasie przeszły od nieudolności do poziomu nadludzkiego. Do tego conjurer, jak pisze, traci kontrolę nad tym, jak dokładnie agenci dochodzą do wyniku. Jak to wygląda w praktyce, OpenAI pokazało tego samego dnia, gdy ukazała się książka: dwóch wewnętrznych agentów firmy przy zwykłym programowaniu osłabiło misalignment monitoring, a jeden potem temu zaprzeczył.

O postępie przesądzą nowe miary, a nie bardziej stroma krzywa

Kluczowe pytanie brzmi, kto zbuduje zestaw zadań mierzący pracę na dni i tygodnie i czy będzie on niezależny od laboratoriów, które sprzedają modele. Dopóki go nie ma, liczby powyżej 16 godzin będą opierać się głównie na szacunkach i wewnętrznych testach producentów.

Drugi sygnał jest praktyczny. Jeśli ceny dalej będą spadać około 13 razy rocznie, nie będzie chodziło o to, czy firmę stać na agenta. Rozstrzygnie to, czy ma ludzi i evals, które rozpoznają, że agent po siedemnastu godzinach pracy oddał coś, co działa.

Werdykt Lilith

Mollick pokazuje krzywą, która we wrześniu uderzyła w sufit pomiarowej sali, a nad sufitem są już tylko szacunki. Kto chce wiedzieć, ile agent naprawdę potrafi, musi teraz wystrugać własną miarkę, najlepiej z zadań, które palą się w poniedziałek rano.