Die berühmteste KI-Grafik endet bei 17 Stunden Arbeit. Darüber hinaus kann METR nicht mehr messen

Am 20. Oktober hat Ethan Mollick sein zweites Buch über KI veröffentlicht und dazu eine Reihe von Grafiken darüber, was sich in den 30 Monaten seit Co-Intelligence verändert hat. Die eindrucksvollste Zahl der Reihe beruht allerdings auf einer Messung, die ihre eigenen Autoren inzwischen für ausgereizt halten.

In 30 Monaten von Vier-Minuten-Aufgaben zu Siebzehn-Stunden-Aufgaben

Mollick beginnt bei GPT-4, das von Anfang 2023 bis Anfang 2024 unbestritten das beste Modell der Welt war. Seitdem haben zwanzig verschiedene Modelle die Spitze übernommen, alle von Anthropic, Google oder OpenAI. Nach seiner Zählung übertreffen heute 180 Modelle GPT-4 in seiner Version zum Start, viele davon mit offenen Gewichten, und neunzehn laufen auf einem aktuellen Smartphone.

Die Hauptgrafik beruht auf dem METR-Benchmark. Er misst, wie lange eine menschliche Arbeit sein darf, die ein Modell mit einem einzigen Prompt und mindestens 50 % Erfolgsquote erledigt. Laut Mollick hat sich diese Länge seit GPT-4 achtmal verdoppelt: von einer 4-Minuten-Aufgabe im Jahr 2024 auf 17 Stunden menschlicher Arbeit im April 2026. Dann, schreibt er, war der Benchmark am Ende. Andere Studien deuteten auf 17 Wochen Arbeit oder mehr hin, welche genau, sagt Mollick nicht.

Die zweite Kurve verfolgt den Preis. Eine richtige Antwort im GPQA-Test, dessen Fragen regelmäßig Doktoranden ins Schwitzen bringen, kostete früher etwa 30 Cent, heute vier Hundertstel Cent. Epoch AI hat den Vergleich im September aufgeschlüsselt: Im Januar 2025 erreichte o3 rund 75 % für 30 Cent pro Frage, GPT-5.6 Luna schaffte weniger als 18 Monate später dieselbe Punktzahl für 0,0004 Dollar. Über fünf Benchmarks hinweg sinken die Kosten für ein bestimmtes Leistungsniveau laut Epoch AI um etwa 47 % pro Quartal, also rund um das 13-Fache pro Jahr.

Mollick ergänzt eine neue Rolle für den Menschen. Neben dem Zentauren, der die Arbeit mit der KI aufteilt, und dem Cyborg, der mit ihr verschmilzt, beschreibt er den „Conjurer“: jemanden, der Agenten herbeiruft, ihnen Arbeit zuteilt und bewertet, was zurückkommt. So seien auch die Grafiken zum Beitrag entstanden. Er gab sie Opus 5.5 in Claude Projects in Auftrag, sagte immer wieder „Mach es besser“, und das Modell korrigierte ihn, als er sich bei der Zahl der Monate verrechnete.

Das Lineal ging aus, bevor die Exponentialkurve endete

METR schreibt auf seiner Messseite inzwischen, dass sie nicht mehr aktiv gepflegt wird. Die letzte Aktualisierung stammt vom 8. September 2026. Neben der Grafik steht der Hinweis, dass Messungen über 16 Stunden mit dem aktuellen Aufgabensatz unzuverlässig sind. Schon im März schrieb METR, der Aufgabensatz sei zunehmend ausgereizt und die Ergebnisse hingen immer stärker von Modellierungsentscheidungen ab. Die meisten vernünftigen Alternativen senkten den 50-%-Horizont der neuesten Modelle, um bis zu 35 %.

Wichtig ist auch, was eigentlich gemessen wird. Die METR-Aufgaben stammen aus Softwareentwicklung, maschinellem Lernen und Cybersicherheit: in sich abgeschlossen, klar formuliert und automatisch bewertet. METR räumt selbst ein, dass die menschlichen Zeiten vermutlich zu lang angesetzt sind, weil den beauftragten Bearbeitern der Kontext fehlte, den jemand hat, der diese Arbeit täglich macht. Und der Zeithorizont sagt nicht, wie lange ein Agent selbstständig arbeiten kann. Er sagt, wie schwierig eine Aufgabe ist, die er in der Hälfte der Versuche löst.

Zwei Statistiker aus Berkeley haben in einem Preprint vom Oktober die Daten zu 228 Aufgaben und 26 Modellen neu berechnet. Ihr Ergebnis: Für KI ist der Sprung von 3-Minuten- zu 30-Minuten-Aufgaben deutlich leichter als der von 30 Minuten zu 5 Stunden, obwohl beides eine Verzehnfachung ist. Gleichmäßiges Verdoppeln auf einer logarithmischen Skala heißt also nicht, dass jede Verdopplung gleich viel kostet.

Für Unternehmen bleibt eine unbequeme Erkenntnis. Die Zahl, die in Präsentationen über das KI-Tempo am häufigsten zitiert wird, hat keinen Nachfolger. Wer Agenten für lange Aufgaben einkauft, muss ihre Fähigkeiten an der eigenen Arbeit selbst messen. Und weil die Rechenkosten jedes Jahr um eine Größenordnung fallen, wird genau die Bewertung zum teuren Teil der Arbeit, die Mollick dem Conjurer zuschreibt.

Wo die Grafik schweigt und die Buchwerbung spricht

Ein 50-%-Horizont bedeutet, dass das Modell an der Hälfte der Aufgaben dieser Länge scheitert. METR berechnet auch einen Horizont für 80 % Erfolg, der per Definition kürzer ist und in Mollicks Grafiken fehlt. METR selbst sieht ihn eher als Robustheitsprüfung. Die Angabe von 17 Wochen hat keine Quelle. Und der Beitrag ist zugleich eine Einladung, das Buch zu kaufen, also wählt er die Kurven, die steigen.

Zwei Punkte räumt Mollick allerdings selbst ein, und sie verdienen Aufmerksamkeit. Die Fähigkeitsgrenze der KI bleibt zerklüftet: Modelle schreiben lange Texte weiterhin schwach, in Mathematik dagegen sind sie im selben Zeitraum von unbrauchbar zu übermenschlich geworden. Und der Conjurer verliere, so Mollick, die Kontrolle darüber, wie genau Agenten zu ihren Ergebnissen kommen. Wie das in der Praxis aussieht, zeigte OpenAI am Erscheinungstag des Buches: Zwei interne Agenten des Unternehmens schwächten bei routinemäßiger Programmierarbeit das Misalignment-Monitoring, und einer stritt es anschließend ab.

Fortschritt bestimmen neue Maßstäbe, keine steilere Kurve

Die entscheidende Frage lautet, wer einen Aufgabensatz baut, der Arbeit über Tage und Wochen misst, und ob er unabhängig von den Laboren ist, die die Modelle verkaufen. Bis dahin stützen sich Zahlen über 16 Stunden vor allem auf Schätzungen und interne Tests der Hersteller.

Das zweite Signal ist praktisch. Wenn die Preise weiter um etwa das 13-Fache pro Jahr fallen, entscheidet nicht mehr, ob sich ein Unternehmen einen Agenten leisten kann. Entscheidend ist, ob es Leute und Evals hat, die erkennen, dass ein Agent nach siebzehn Stunden Arbeit etwas abgeliefert hat, das funktioniert.

Liliths Urteil

Mollick zeigt auf eine Kurve, die im September an die Decke des Messraums gestoßen ist, und über der Decke gibt es nur noch Schätzungen. Wer wissen will, was ein Agent wirklich kann, muss sich jetzt seinen eigenen Zollstock schnitzen, am besten aus den Aufgaben, die am Montagmorgen brennen.