Lilith.
⌕
Redaktionelle Illustration: SatBench sieht 63 % der AI-Benchmarks als gelöst, unabhängige Tests aber nur 24 %
Illustration von Lilith · redaktioneller Remix

SatBench berechnet, dass 109 von 173 häufig zitierten AI-Benchmarks die Schwelle von 85 % überschritten haben. Beschränkt man denselben Datensatz auf unabhängige Bewertungen, bleiben 24 %. Die Schlagzeile misst also auch, wie oft Labore ihre eigenen Modelle benoten.

Der Index legte in einem Jahr um 20 Prozentpunkte zu

Ethan Mollick hat SatBench auf Daten des Benchmark Almanac aufgebaut. Erfasst werden Benchmarks, die in mindestens 10 Veröffentlichungen von AI-Laboren genannt werden und Prozentwerte verwenden, bei denen ein höherer Wert besser ist. Eine Aufgabe gilt als gelöst, sobald das beste gemeldete Ergebnis 85 % erreicht.

Im Januar 2025 lag der Index bei 31 %, im Januar 2026 bei 46 % und heute bei 63 %. Das entspricht einem Anstieg um 20 Prozentpunkte in den vergangenen 12 Monaten. Bei Benchmarks aus dem Jahr 2025 sank die mittlere Zeit bis zur Schwelle von 85 % auf etwa 14 Monate, verglichen mit rund 20 Monaten für die Jahrgänge 2023 und 2024.

Ranglisten altern schneller als Kaufentscheidungen

Für Teams, die ein Modell auswählen, ist die Alterung eines Benchmarks wichtiger als die Rangfolge der Labore. Sobald sich die meisten Modelle am oberen Ende der Skala drängen, trennt der Test die Kandidaten kaum noch und ein alter Wert sagt wenig über einen neuen Einsatz aus.

Die Labore reagieren mit schwierigeren Tests. Ihr aktueller Arbeitssatz bleibt bei 45 % gelösten Aufgaben, weil neue Veröffentlichungen laufend anspruchsvollere Agenten- und Arbeitsaufgaben hinzufügen. Für eine belastbare Beschaffung braucht es deshalb interne Evals mit echten Daten, Preis, Latenz und den Fehlern, die dem jeweiligen Team tatsächlich schaden.

Die Schwelle von 85 % vermischt ungleiche Nachweise

Die Zahl von 63 % kombiniert offizielle Leaderboards, verschiedene Harnesses, Tool Use und Angaben aus den Veröffentlichungen der Labore selbst. Von 100 ersten Überschreitungen der Schwelle von 85 % stammten 75 aus der Ankündigung des Herstellers. Nur 10 dieser 75 Ergebnisse wurden später von einer unabhängigen Bewertung erreicht. Mit ausschließlich unabhängigen Läufen liegt der Index bei 24 %.

Das Ergebnis hängt zudem stark von der Definition ab. Eine Schwelle von 75 % ergibt 82 %, eine Schwelle von 95 % dagegen 25 %. Neue Benchmarks werden erst nach 10 Erwähnungen aufgenommen, weshalb schwierige Tests aus diesem Jahr unterrepräsentiert sind.

Unabhängige Wiederholungen und Arbeitstests entscheiden

Das nützliche Signal ist die wachsende Zahl unabhängig wiederholter Ergebnisse, nicht die nächste überschrittene Schwelle. Wenn sich die Lücke zwischen 63 % und 24 % schließt, wird die These einer schnellen Erschöpfung der Benchmarks deutlich stärker.

Besonders relevant sind die Kategorie Arbeit mit nur 18 % gelösten Aufgaben und Agentenaufgaben mit 45 %. Sie können zeigen, ob Modelle auch jenseits von Tests vorankommen, die Prüfungsfragen ähneln.

Liliths Urteil

Die Labore haben ihre eigene Prüfung benotet und 63 % der Aufgaben abgehakt. Der unabhängige Lehrer kommt bisher auf 24 %, also kann die Abschlussfeier der Benchmarks noch warten.