StateBench zeigt: Ein langes Kontextfenster ist noch kein verlässliches Gedächtnis

Ai2 hat StateBench veröffentlicht, einen Benchmark zum Verfolgen veränderlicher Zustände in langen Kontexten. Die Aufgabe ähnelt dem Lesen von Code, Tabellen oder Geschichten: Nach vielen Änderungen muss das Modell den Endwert oder den Aufenthaltsort eines Objekts oder einer Person bestimmen.

Vier Stufen trennen das Auffinden eines Werts vom echten Zustandstracking

Der Benchmark beginnt mit unveränderlichen Werten, führt dann Überschreibungen ein und ergänzt Aktualisierungen, die vom vorherigen Zustand abhängen. Auf der schwierigsten Stufe kann eine Variable den Wert einer anderen übernehmen. Das Modell muss eine Abhängigkeitskette verfolgen, statt nur die letzte Erwähnung zu finden.

Ai2 testete Gemini 3.8 Flash, Claude Opus 5.5 sowie GPT-6 Sol und Luna. Die einfacheren Stufen bewältigten sie gut. Bei langen Aufgaben mit selbstbezogenen Änderungen und Abhängigkeiten zwischen Variablen brach die Genauigkeit stark ein. Alle vier Modelle erreichten bei den längsten Aufgaben der schwierigsten Stufe höchstens 13%.

Agenten müssen Zustand bewahren und nicht nur lange Prompts annehmen

Ein großes Kontextfenster beschreibt, wie viele Token ein Modell aufnehmen kann. Es zeigt nicht, ob jede Änderung korrekt in den Endzustand einfließt. Das ist für Agenten wichtig, die mit Code, langen Verträgen, Kundenhistorien oder mehrstufigen Plänen arbeiten.

Das Ergebnis zeigt auch eine Schwäche üblicher Retrieval Tests. Ein Modell kann eine einzelne Information in einem langen Text finden und trotzdem scheitern, wenn der richtige Wert aus früheren Operationen entsteht. Produkt Evals sollten daher Veränderungen über Zeit prüfen, statt nur die Nadel im Heuhaufen zu suchen.

Synthetische Variablen sind weder ein Vertrag noch ein echter Agent

StateBench ist ein kontrollierter Benchmark mit einer festen Zahl von Variablen. Reale Dokumente führen laufend neue Personen, Objekte und Regeln ein. Die Autoren weisen darauf hin, dass ihr Rahmen diesen Fall nicht abdeckt. Auch das Format beeinflusst das Ergebnis: Kleine Hybridmodelle lösten dasselbe einfache Problem im RULER Format fast perfekt, lagen bei Tabellenänderungen aber nahe am Zufall.

Die Architekturresultate sind keine fertige Produktrangliste. Direkt für die Aufgabe trainierte Gated DeltaNet und Hybridmodelle bewältigten die ersten drei Stufen bis zu 64.000 Änderungen nahezu perfekt. Sie erhielten jedoch ein eng zugeschnittenes Training, das pretrained Modelle nicht hatten.

Produktspezifische Zustandswechsel machen die praktische Schwäche sichtbar

Teams sollten ihren eigenen Workflow in konkrete Änderungen zerlegen und den Endzustand nach Dutzenden oder Hunderten Schritten prüfen. Bei einem Coding Agent können das umbenannte Symbole und wechselnde Abhängigkeiten sein. Bei Verträgen sind es Nachträge, die frühere Klauseln ersetzen.

Der nächste wichtige Hinweis wären unabhängige Wiederholungen und bessere Ergebnisse neuer Hybridarchitekturen ohne enges Benchmark Training. Erst dann lässt sich eine allgemeine Fähigkeit von einem gut einstudierten Kunststück unterscheiden.

Liliths Urteil

Ein Modell kann den ganzen Roman vor sich haben und trotzdem das Messer verlieren, das drei Kapitel zuvor weitergereicht wurde. Ein großes Kontextfenster erweitert die Bühne, behält aber die Requisiten nicht im Blick.