Ein Agent lässt sich nicht mehr am Ergebnis messen. Ein Paper aus Princeton sammelt 33 Trends der Evaluation

Die Gruppe um Arvind Narayanan und Sayash Kapoor in Princeton hat mit Koautoren aus Stanford, dem britischen AI Security Institute und von Brookings das Paper Emerging Trends in AI Agent Evaluation veröffentlicht. Es beschreibt 33 Trends und liefert Fragen für Evaluatoren, Geldgeber und Öffentlichkeit, wenn ihnen jemand den Score eines Agenten präsentiert.

Benchmark-Scores verraten über Agenten immer weniger

Die Autoren stützen sich auf rund drei Jahre eigener Arbeit zur Agenten-Evaluation. Sie ordnen die Trends in drei Ebenen: Wissenschaft und Methoden, Forschungsagenda sowie das Ökosystem aus Menschen und Institutionen, die evaluieren.

Das Kernproblem benennen sie klar. Bei einem Modell genügte der Vergleich von Antworten. Bei einem Agenten muss der Prüfer die gesamte Trajektorie untersuchen: welche Tools er aufrief, ob er Abkürzungen nahm und welche Komponente Erfolg oder Fehler tatsächlich verursacht hat. Die Evaluation einiger Agenten auf dem Benchmark ExploitBench kostete Zehntausende Dollar an Credits. Der Ingenieursaufwand für Aufbau und Betrieb der Infrastruktur ist darin nicht einmal enthalten.

Hinzu kommt die schiere Menge an Protokollen, die kein Mensch mehr vollständig lesen kann. Bei der nachträglichen Untersuchung des Vorfalls rund um OpenAI und Hugging Face setzten die Prüfer andere Agenten ein, um schädliche Aktionen aufzuspüren, und räumten selbst ein, dass auch dieser Ansatz blinde Flecken hat.

Laborergebnisse landen nicht von selbst im Unternehmen

Das Paper betont mehrfach, dass Belege auf einer Ebene nicht automatisch für die nächste gelten. Ein Agent kann eine Aufgabe im Labor lösen und im konkreten Unternehmen scheitern. Die Autoren verweisen auf die randomisierte kontrollierte Studie von METR, in der erfahrene Open-Source-Entwickler mit KI-Tools 19 % länger für ihre Aufgaben brauchten, obwohl sie mit einem Tempogewinn gerechnet hatten.

Für Unternehmen, die Agenten einkaufen, folgt daraus etwas sehr Praktisches. Die Zahl im Leaderboard ist nur ein Ausgangspunkt. Wer wissen will, ob ein Agent den eigenen Leuten Arbeit abnimmt, muss ihn im eigenen Prozess messen. Die Autoren ergänzen eine Grundsatzfrage: Man kann prüfen, ob ein Agent eine Aufgabe übernimmt, oder ob er Menschen hilft, sie besser zu erledigen. Misst man vor allem Ersteres, erfährt man, wer ersetzbar ist, aber nicht, wie Menschen besser mit Agenten zusammenarbeiten.

Unabhängige Prüfung beginnt bei Geld und Zugang

Am schärfsten ist der Teil darüber, wer überhaupt evaluieren darf. Je teurer Tests von Frontier-Agenten werden, desto stärker entscheidet das Budget, ob unabhängige Teams mitmachen können. Auch der Modellzugang zählt. Die Labore veröffentlichen inzwischen nur zusammengefasste Chain of Thought statt der Rohprotokolle, externe Prüfer sehen also weniger als interne Teams. Dazu kommen die Angst vor Vergeltung und die Frage, wie sich Ergebnisse offen teilen lassen.

Genau hier liegt die Schwäche des Papers. Seine Empfehlungen an Labore, Geldgeber, Betreiber von Leaderboards und Politik sind als Chancen und Bedarfe formuliert. Einen Mechanismus, der ein Labor zur Herausgabe von Rohprotokollen zwingt, bietet es nicht. Wer einen neuen Benchmark oder frische Messungen erwartet, bekommt eine Landkarte des Geländes.

Leaderboards mit Preisschild und Rohprotokolle zeigen, ob sich etwas bewegt

Das erste Signal kommt von den Leaderboards. Die Autoren wünschen sich, dass deren Betreiber der Öffentlichkeit auch die steigenden Kosten der Evaluation zeigen. Steht neben dem Score ein Preis pro Durchlauf, sehen Käufer, was es kostet, die Versprechen eines Anbieters zu prüfen. Das zweite Signal ist, ob externe Teams Zugang zu rohen Agenten-Trajektorien bekommen.

Der dritte Test findet im öffentlichen Sektor statt. Die Autoren wollen, dass Evaluation bei staatlichen Einsätzen vom ersten Tag an mitläuft und dass die AI Security Institutes neue Beteiligte in den Prozess holen. Wenn Agenten in einem Jahr noch immer vor allem von denen bewertet werden, die sie verkaufen, bleibt das Paper eine gut geschriebene Warnung.

Liliths Urteil

Agenten legen heute Prüfungen ab, die oft ihr eigener Hersteller geschrieben und bezahlt hat, und externe Prüfer dürfen nur in eine Zusammenfassung ihres Notizhefts schauen. Solange das so bleibt, lesen Sie jeden Score wie ein Zeugnis, das die Eltern unterschrieben haben.