StateBench ukázal, že dlouhý kontext neznamená spolehlivou paměť

Ai2 zveřejnil StateBench, benchmark pro sledování měnícího se stavu v dlouhém kontextu. Úloha připomíná čtení kódu, tabulky nebo příběhu: model musí po mnoha změnách určit, kde skončila hodnota, předmět či postava.

Čtyři úrovně oddělují vyhledání hodnoty od skutečného sledování změn

Benchmark začíná neměnnou hodnotou, pokračuje přepisem na poslední hodnotu a poté přidává změny odvozené od předchozího stavu. Nejtěžší úroveň dovoluje, aby jedna proměnná převzala hodnotu jiné. Model tak musí sledovat řetězec závislostí, ne pouze najít poslední zmínku.

Ai2 testoval Gemini 3.8 Flash, Claude Opus 5.5 a dvě varianty GPT-6, Sol a Luna. Na jednodušších úrovních si vedly dobře. U dlouhých úloh se sebereferenčními změnami a vazbami mezi proměnnými však přesnost prudce klesala. Na nejdelších úlohách nejtěžší úrovně skončily všechny čtyři modely na 13 % nebo méně.

Pro agenty je důležitější zachovat stav než přijmout dlouhý prompt

Velké context window říká, kolik tokenů model přijme. Neříká, zda správně promítne každou změnu do výsledného stavu. To je zásadní rozdíl pro agenty pracující s kódem, dlouhými smlouvami, historií zákazníka nebo vícekrokovým plánem.

Výsledek také ukazuje slabinu běžných retrieval testů. Model může v dlouhém textu najít jednotlivý údaj a přitom selhat, když jeho správná hodnota vzniká sérií předchozích operací. Produktový eval proto musí zkoušet změny v čase, ne jen hledání jehly v kupce sena.

Syntetické proměnné nejsou dlouhá smlouva ani skutečný agent

StateBench je kontrolovaný benchmark s pevným počtem proměnných. Reálné dokumenty průběžně přidávají nové osoby, objekty a pravidla. Autoři sami uvádějí, že tento případ současný rámec nepokrývá. Výkon navíc mění i povrchová podoba zadání: malé hybridní modely byly u stejného jednoduchého problému téměř bezchybné ve formátu RULER, ale u tabulkových úprav se blížily náhodě.

Výsledky architektur také nelze číst jako hotový žebříček produktů. Modely Gated DeltaNet a hybridy trénované přímo na úloze zvládly první tři úrovně téměř dokonale až do 64 000 změn. Měly však přesně cílený trénink, zatímco pretrained modely tuto výhodu neměly.

Vlastní eval se změnami stavu odhalí praktickou slabinu produktu

Týmy by měly převést svůj workflow na sled konkrétních změn a ověřit konečný stav po desítkách či stovkách kroků. U coding agenta to mohou být přejmenované symboly a měnící se závislosti. U smluv zase dodatky, které ruší starší ustanovení.

Dalším signálem bude, zda výsledky zopakují nezávislé laboratoře a zda novější hybridní architektury zlepší stavové úlohy bez úzkého tréninku na benchmarku. Teprve pak půjde odlišit obecnou schopnost od dobře nacvičeného triku.

Lilithin verdikt

Model může mít před sebou celý román a přesto ztratit nůž, který si postavy předaly před třemi kapitolami. Velké context window rozšíří jeviště, ale neuhlídá rekvizity.