Artificial Analysis versteckt seine Tests, und der Rückstand offener Modelle springt von 3 auf 12 Punkte

Artificial Analysis hat am 27. Oktober den Intelligence Index v5 veröffentlicht. Erstmals trägt der Großteil des Gewichts, nämlich 60 %, auf Tests mit privaten Datensätzen oder zurückgehaltenen Antworten. Das beste offene Modell liegt nun 12 Punkte hinter dem Spitzenreiter. In Version 4.3 waren es 3 Punkte.

Der neue Index streicht GDPval-AA und misst offenen Modellen einen viermal größeren Rückstand

Das Unternehmen hat GDPval-AA v2.1, SciCode und AA-LCR aus dem Index genommen. Neu ist FrontierCode 2.0, der private Benchmark von Cognition mit 132 Aufgaben aus echten Open-Source-Repositories, bei dem nur eine Änderung zählt, die ein Maintainer übernehmen würde. Die zweite Neuerung ist Terminal-Bench-Science mit 70 wissenschaftlichen Aufgaben im Terminal. Humanity's Last Exam weicht der überarbeiteten Fassung HLE-Diamond mit 1.000 Fragen. Der Index besteht aus vier gleich gewichteten Teilen zu je 25 %: Wissensarbeit, Programmieren, Wissenschaft und Allgemeinwissen.

An der Spitze steht Claude Opus 5.5 (max) mit 58 Punkten, knapp vor GPT-6 Astra mit 57 und GPT-6.1 Sol mit 55. Die ersten fünf Plätze teilen sich Anthropic und OpenAI, Gemini 4 Argon kommt auf 50. Das beste offene Modell, Kimi K3.1 Pro, erreicht 46 Punkte, seine Gewichte sind aber noch nicht veröffentlicht. Unter den Modellen, die man tatsächlich herunterladen kann, führen DeepSeek V4.1 Flash 1017 und GLM-5.3 mit 32 Punkten. Das sind 26 Punkte weniger als der Spitzenreiter und weniger als das kleine geschlossene Claude Haiku 5.5 mit 36.

Am schlechtesten schnitten offene Modelle bei Terminal-Bench-Science ab. GPT-6 Astra löst dort 63 % der Aufgaben, Kimi K3.1 Pro 34 % und DeepSeek V4.1 Flash 13 %. Die meisten anderen offenen Modelle blieben unter 10 %. Ethan Mollick schrieb auf X, man solle das Ergebnis mit Vorsicht genießen, es passe aber zum allgemeinen Eindruck, dass noch kein offenes Modell der Fable-Klasse erschienen ist.

Wer mit einem billigen offenen Ersatz gerechnet hat, muss die Kosten pro Aufgabe neu rechnen

Bis vor Kurzem hieß es, offene Modelle lägen etwa drei Monate hinter der geschlossenen Spitze. Nathan Lambert vertrat das in einem Vortrag, über den wir berichtet haben, und stützte sich dabei auf Daten von Artificial Analysis. Der neue Index schwächt diesen Trost: Bei agentischen Aufgaben, in denen ein Modell Dutzende Schritte im Terminal abarbeiten muss, ist der Abstand weit größer als bei Wissenstests.

Für Unternehmen, die aus Kostengründen über Self-Hosting nachdenken, zählt eine andere Zahl mehr. GPT-6.1 Sol (max) liegt 4 Punkte hinter Opus und kostet 1,27 US-Dollar pro Index-Aufgabe, Opus dagegen 10,04 US-Dollar. Eine günstige geschlossene Variante nimmt offenen Modellen ihr wichtigstes Preisargument. Offene Gewichte behaupten sich weiter dort, wo Datenschutz, Offline-Betrieb oder eigenes Fine-Tuning den Ausschlag geben. Als billige Kopie der Spitze für agentische Arbeit taugen sie vorerst nicht.

Der Index zeigt außerdem, dass die Einstellung des Aufwands mehr zählt als früher. Opus 5.5 kommt bei niedrigem Aufwand auf 35 Punkte und bei maximalem auf 58, zum zehnfachen Preis (0,98 gegenüber 10,04 US-Dollar). Der Median der Ausgabe-Tokens pro Aufgabe stieg von 35.000 auf 59.000. Wer Modelle nach dem Preis pro Million Tokens vergleicht, sieht nur die halbe Rechnung.

Ein neues Maßband misst den Abstand, also stammt ein Teil des Sprungs aus der Methodik

Wer 3 mit 12 Punkten vergleicht, vergleicht zwei verschiedene Lineale. Version 4.3 und v5 haben andere Tests, andere Gewichte und einen anderen Anteil agentischer Arbeit. Der Wechsel zu privaten Datensätzen begrenzt zudem Fälle, in denen ein Modell öffentliche Fragen schon im Training gesehen hat. Falls offene Modelle davon stärker profitierten als geschlossene, war ein Teil des früheren kleinen Abstands eine Illusion. Das bleibt eine Hypothese: Artificial Analysis hat sie nicht geprüft und keine Gegenüberstellung derselben Modelle auf beiden Versionen veröffentlicht, die es zeigen würde.

Private Datensätze haben auch eine Kehrseite. Niemand von außen kann die Ergebnisse nachprüfen, und das ganze Bild hängt an einer einzigen Firma und ihrem Harness Stirrup. FrontierCode gehört zudem Cognition, das selbst einen Coding-Agenten verkauft. Offene Modelle sind oft auf andere Umgebungen abgestimmt, ein Teil des Einbruchs könnte also am Harness liegen und nicht an den Gewichten.

Die Gewichte von Kimi K3.1 Pro und eine zweite unabhängige Messung entscheiden

Der erste Test kommt bald. Laut früherer Ankündigung will Moonshot die vollständigen Gewichte von Kimi K3.1 Pro bis zum 4. November veröffentlichen. Dann zeigt sich, ob das beste offene Modell seine 46 Punkte auch in fremden Händen hält und ob sich der Abstand zur Spitze wirklich bei rund 12 Punkten einpendelt.

Das zweite Signal ist, ob jemand anderes einen ähnlichen Einbruch misst, etwa Epoch AI, auf dessen Arbeit Artificial Analysis beim neuen Progress Index aufbaut. Holt der nächste DeepSeek oder GLM Terminal-Bench-Science aus dem einstelligen Bereich, dreht sich die Debatte wieder um Monate. Wenn nicht, kaufen Unternehmen offene Modelle wegen der Kontrolle über ihre Daten, nicht wegen der Leistung.

Liliths Urteil

Artificial Analysis hat die Prüfung in einen Tresor gesperrt, und über Nacht hat sich der Abstand der offenen Modelle zum Klassenbesten vervierfacht. Solange niemand mit einem eigenen Fragenkatalog nachprüft, wissen wir nicht, ob die Schüler schlechter wurden oder früher einfach die Fragen kannten.