Ein paar Wörter im Prompt, und ein KI-Gutachter für Originalität fällt von 93,5 Prozent unter Münzwurf-Niveau

Ai2 hat einen Benchmark veröffentlicht, der misst, wie zuverlässig Sprachmodelle beurteilen, ob eine Forschungsidee neu ist. Für alle, die an einem „KI-Wissenschaftler“ bauen, ist das Ergebnis unbequem: Dasselbe Modell kippt bei denselben Ideen sein Urteil, sobald sich ein paar Wörter in der Anweisung ändern, und teure Spezialsysteme verlieren gegen einen einfachen Prompt.

Der Benchmark stützt sich auf Gutachten von der ICLR 2026, die Annahme allein zählt nicht

Am 27. Oktober veröffentlichte Ai2 die Studie Old Ideas, Novel Problems samt Daten, Code und einer Pipeline zum Bau weiterer Testsätze. Sie prüft sogenannte novelty judges, also Sprachmodelle, die entscheiden, ob eine Idee über bisherige Arbeiten hinausgeht. Getestet wurden sechs Modelle: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 und Claude Opus 4.6.

Grundlage sind die Gutachten der Konferenz ICLR 2026. Die Autoren suchten darin Passagen, in denen Gutachter ausdrücklich über Originalität schrieben. Die starke Gruppe umfasst 154 Ideen aus angenommenen Papern in den besten 10 Prozent ihres Fachgebiets, deren Neuheit gelobt und von niemandem bestritten wurde. Die schwache Gruppe umfasst 145 Ideen aus abgelehnten Papern in den untersten 10 Prozent, bei denen Gutachter die Originalität bemängelten.

Ein zweiter Satz stellt dieselben 154 menschlichen Ideen 154 Ideen eines einfachen Generators gegenüber, der keine Literatur durchsuchte. Die Autoren nehmen an, dass die generierten Ideen schwächer sind, es handelt sich also um schwache Labels. Ein Experte prüfte 30 Paare, vor allem Fälle, in denen der beste Gutachter danebenlag, und zog in allen 30 die menschliche Idee vor.

Ein paar Wörter in der Anweisung verschieben die Trefferquote um mehr als 50 Punkte

Die größten Ausschläge verursachte der Prompt. GPT-5.4 bekam dieselben Paare mit zwei Anweisungen. Die erste verriet, dass Gutachter in jedem Paar genau eine Idee als neu eingestuft hatten. Die zweite fragte nur, welche Idee neu sei. Die Trefferquote fiel von 93,5 auf 40,9 Prozent, also unter Zufallsniveau, und das Modell änderte bei mehr als der Hälfte der Paare sein Urteil. Bei rein menschlichen Ideen verschob dieselbe Änderung GPT-5.4 nur um etwa sieben Punkte, Claude Opus 4.6 dagegen um 21.

Für Teams, die eigene Ideengeneratoren bewerten, zählt eine andere Zahl mehr. Als die Gutachter Ideen von Claude Opus 4.5 mit Sonnet 4.5 sowie GPT-5.4 mit GPT-5.1 verglichen, kippte ein anderer Prompt im Schnitt ein Viertel bis ein Drittel der Urteile. Eine Rangliste, welches Modell originellere Forschung vorschlägt, misst damit zu einem guten Teil, wer den Prompt des Gutachters geschrieben hat.

Mehr Aufwand half nicht. GPT-5.6 Sol mit dem höchsten Reasoning-Budget und Live-Suche auf arXiv erreichte einen Macro-F1 von 0,78, 11 Punkte hinter Claude Opus 4.6 mit 0,89, bei rund zehnfachen Kosten pro Entscheidung. Ein einfacher Prompt für Opus 4.6 mit Mehrheitsvotum aus drei Aufrufen kam auf 0,854 für 2,59 Dollar für die gesamte Auswertung. Idea Novelty Checker landete bei 0,642 für 30,66 Dollar, der Neuheitsprüfer aus AI Scientist von Sakana AI bei 0,772 für 82,05 Dollar.

Der Siegerprompt bekam einen Hinweis, den kein echter Gutachter hat

Die 93,5 Prozent gelten für eine Anweisung, die dem Modell vorab verrät, dass jedes Paar genau eine neue Idee enthält. Im echten Einsatz hat niemand diese Gewissheit. Sinnvoller ist es, das Ergebnis umgekehrt zu lesen: Ohne den Hinweis verlor GPT-5.4 bei KI-generierten Ideen die Orientierung.

Auch der Benchmark hat Grenzen. Neuheit definieren hier die Gutachter der ICLR, also eine einzige Community des maschinellen Lernens mit eigenen Gewohnheiten. Der Ideengenerator war bewusst primitiv, der Satz sagt daher wenig darüber, wie Gutachter mit Agenten umgehen, die selbst Literatur durchsuchen. Zudem sind die getesteten Modelle nicht mehr die neuesten: Die meisten Ergebnisse betreffen Generationen wie GPT-5.4 und Opus 4.6.

Entscheidend wird, ob Entwickler von KI-Wissenschaftlern die Empfindlichkeit ihrer Gutachter offenlegen

Ai2 stellt den Datensatz und eine Pipeline bereit, die sich auf Gutachten anderer Konferenzen anwenden lässt. Interessant ist, ob Teams sie übernehmen, die ihren Systemen neue Ideen zuschreiben. Ein faires Ergebnis sollte neben der Trefferquote zeigen, wie viele Urteile bei einem anderen Prompt kippen.

Das zweite Signal ist, ob sich der Befund bei neueren Modellen und außerhalb des maschinellen Lernens hält. Wenn auch die nächste Generation von Gutachtern ihre Meinung mit der Formulierung ändert, braucht der Satz „unser System schlägt originelle Forschung vor“ weiterhin einen menschlichen Gutachter.

Liliths Urteil

Ai2 hat sechs Modelle zur Jury eines Wissenschaftswettbewerbs gemacht und festgestellt, dass ein paar umformulierte Zeilen in der Einladung andere Ideen ins Finale bringen. Wer heute ein Modell Forschung erfinden und ein zweites sie benoten lässt, veranstaltet einen Wettbewerb, bei dem vor allem der Verfasser der Regeln über den Sieger entscheidet.