2026-11-12 · ← Aktualności
Anthropic przyspieszył rozwój modeli 1,9 raza, lecz kluczowe dowody pozostają ukryte
METR szacuje, że od października 2025 roku możliwości wewnętrznych modeli Anthropic rosną 1,9 raza szybciej niż wcześniej, a większość przyspieszenia prawdopodobnie wynika z użycia AI w badaniach. Wynik jest ważny, ale częściowo opiera się na dowodach utajnionych przez Anthropic.
Nie udało się wczytać obrazu.
METR przez 11 tygodni miał wyjątkowo szeroki dostęp do wewnętrznych danych Anthropic i badał, czy AI przyspiesza rozwój kolejnych modeli. Raport wspiera intuicję, że skok jakości da się czasem odczuć w codziennej pracy wcześniej niż w publicznych benchmarkach. Pokazuje też, dlaczego samo odczucie nie wystarcza.
Wewnętrzne benchmarki rosną 1,9 raza szybciej
METR analizował okres od 12 sierpnia do 29 października 2026 roku. Według AECI wyniki modeli wewnętrznych rosły od października 2025 roku w tempie 1,9 raza wyższym, z 95-procentowym przedziałem ufności od 1,5 do 2,8. Warianty testujące odporność wyniku dały szerszy zakres od 1,1 do 2,9.
Badacze oceniają, że większość obecnego przyspieszenia, być może około 80 %, wynika z używania AI w R&D. Z rozmów wynika, że na razie ważniejsza jest pomoc ludziom niż w pełni autonomiczny wkład w kluczowe części treningu modeli.
Vibe-testing wykrywa zmianę, lecz nie wyjaśnia jej przyczyny
Ethan Mollick uznał, że wynik potwierdza ocenę opartą na codziennym doświadczeniu, i wskazał Claude 3.7 Sonnet jako model, który w 2025 roku wyraźnie przekroczył oczekiwania. Taki osąd może wcześnie uchwycić zmianę użyteczności. Nie oddzieli jednak lepszego modelu od lepszego agent scaffoldingu, większego inference budgetu czy innego zestawu zadań.
METR próbował rozdzielić te czynniki za pomocą benchmarków, danych wewnętrznych i wywiadów. Dla zespołów produktowych wniosek jest prosty: subiektywne wrażenie to dobry alarm, ale słaby przyrząd pomiarowy.
Anthropic utajnił większość najważniejszych materiałów
Anthropic mógł usuwać informacje niepubliczne i według METR zredagował większość dowodów najważniejszych dla oceny ryzyka. Opinia publiczna nie może więc niezależnie sprawdzić kluczowej części argumentu. METR nie miał też bezpośredniego dostępu do niepublicznych modeli, a dużą część analizy prowadził z pomocą Claude.
AECI koncentruje się na dobrze określonych, weryfikowalnych zadaniach. Wyniku nie można automatycznie przenosić na nieprecyzyjną pracę badawczą ani produktywność zwykłej firmy.
Kolejny pomiar musi rozdzielić model, workflow i pracę ludzi
Potrzebne są powtarzane pomiary nowych modeli, najlepiej z ustaloną wcześniej metodą i mniejszą kontrolą producenta nad publikacją dowodów. Firmy powinny zestawiać opinie pracowników z liczbą zakończonych eksperymentów, czasem review, poprawkami i pełnym kosztem. Dopiero taki obraz pokaże, czy badania rzeczywiście przyspieszyły.
Werdykt Lilith
Vibe-testing wyczuje, że pociąg ruszył. METR dołożył prędkościomierz, lecz Anthropic zakleił część tarczy czarną taśmą.