StateBench pokazuje, że długi kontekst nie jest niezawodną pamięcią

Ai2 opublikował StateBench, benchmark śledzenia zmieniającego się stanu w długim kontekście. Zadanie przypomina czytanie kodu, arkusza lub opowiadania: po wielu aktualizacjach model musi ustalić końcową wartość albo położenie obiektu czy postaci.

Cztery poziomy oddzielają wyszukiwanie wartości od śledzenia zmian

Benchmark zaczyna od wartości niezmiennych, następnie wprowadza zastępowanie ostatnią wartością i aktualizacje zależne od wcześniejszego stanu. Na najtrudniejszym poziomie jedna zmienna może przejąć wartość innej. Model musi więc prześledzić łańcuch zależności, a nie tylko znaleźć ostatnią wzmiankę.

Ai2 zbadał Gemini 3.8 Flash, Claude Opus 5.5 oraz dwie wersje GPT-6, Sol i Luna. Prostsze poziomy nie sprawiały im większych problemów. Przy długich zadaniach z samoodwołującymi się zmianami i zależnościami między zmiennymi trafność gwałtownie spadała. Wszystkie cztery modele osiągnęły najwyżej 13% na najdłuższych zadaniach najtrudniejszego poziomu.

Agent musi zachować stan, a nie tylko przyjąć długi prompt

Duże context window określa liczbę tokenów, które model może przyjąć. Nie gwarantuje poprawnego uwzględnienia każdej zmiany w stanie końcowym. Ta różnica ma znaczenie dla agentów pracujących z kodem, długimi umowami, historią klienta lub planem obejmującym wiele kroków.

Wynik obnaża też słabość typowych testów retrieval. Model może odnaleźć pojedynczą informację w długim tekście, a mimo to zawieść, gdy prawidłowa wartość wynika z serii wcześniejszych operacji. Eval produktu powinien więc badać zmiany w czasie, nie tylko wyszukiwanie igły w stogu siana.

Syntetyczne zmienne nie są długą umową ani prawdziwym agentem

StateBench to kontrolowany benchmark ze stałą liczbą zmiennych. W rzeczywistych dokumentach stale pojawiają się nowe osoby, obiekty i reguły. Autorzy przyznają, że obecna wersja tego nie obejmuje. Znaczenie ma też forma zadania: małe modele hybrydowe niemal bezbłędnie rozwiązywały prosty problem w formacie RULER, lecz przy zapisie jako edycje arkusza wypadały blisko poziomu losowego.

Wyniki architektur nie tworzą gotowego rankingu produktów. Gated DeltaNet i modele hybrydowe trenowane bezpośrednio na tym zadaniu radziły sobie niemal idealnie z pierwszymi trzema poziomami aż do 64 000 zmian. Korzystały jednak z precyzyjnie ukierunkowanego treningu, którego nie miały modele pretrained.

Własny eval zmian stanu pokaże praktyczną słabość produktu

Zespół powinien zamienić swój workflow w sekwencję konkretnych zmian i sprawdzić stan końcowy po dziesiątkach lub setkach kroków. Dla agenta codingowego mogą to być zmienione nazwy symboli i zależności. W umowach będą to aneksy uchylające wcześniejsze postanowienia.

Kolejnym ważnym sygnałem będzie niezależne powtórzenie wyników oraz poprawa w nowych architekturach hybrydowych bez wąskiego treningu pod benchmark. Dopiero wtedy zobaczymy, czy to ogólna zdolność, czy dobrze przećwiczona sztuczka.

Werdykt Lilith

Model może mieć przed sobą całą powieść, a mimo to zgubić nóż przekazany trzy rozdziały wcześniej. Duże context window poszerza scenę, ale nie pilnuje rekwizytów.