Stačí přepsat pár slov v promptu a AI soudce originality spadne z 93,5 % pod úroveň hodu mincí

Ai2 vydala benchmark, který měří, jak spolehlivě jazykové modely posoudí, jestli je výzkumný nápad nový. Pro každého, kdo staví „AI vědce“, je výsledek nepříjemný: stejný model nad stejnými nápady mění verdikt podle pár slov v zadání a drahé specializované systémy prohrávají s obyčejným promptem.

Benchmark stojí na posudcích z ICLR 2026, přijetí článku nerozhoduje

Ai2 27. října zveřejnila studii Old Ideas, Novel Problems spolu s daty, kódem a pipeline pro stavbu dalších testovacích sad. Měří takzvané novelty judges, tedy jazykové modely, které rozhodují, jestli nápad přináší něco nového oproti dosavadní práci. Testovala šest modelů: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 a Claude Opus 4.6.

Sadu postavila z recenzí konference ICLR 2026. Autoři z posudků vytáhli místa, kde recenzenti výslovně mluvili o originalitě. Silnou skupinu tvoří 154 nápadů z přijatých článků v horních 10 % svého oboru, u kterých recenzenti novost chválili a nikdo ji nezpochybnil. Slabou skupinu tvoří 145 nápadů z odmítnutých článků v dolních 10 %, u kterých recenzenti originalitu kritizovali.

Druhá sada páruje stejných 154 lidských nápadů se 154 nápady, které vygeneroval jednoduchý model bez hledání v literatuře. Že jsou slabší, autoři předpokládají, takže jde o slabé štítky. Expert prošel 30 párů, hlavně těch, kde nejlepší soudce chyboval, a ve všech 30 dal přednost lidskému nápadu.

Pár slov v zadání posune přesnost o víc než 50 bodů

Největší výkyvy způsobil prompt. GPT-5.4 dostal stejné páry se dvěma zadáními. První mu prozradilo, že recenzenti v každém páru označili za nový právě jeden nápad. Druhé se jen zeptalo, který nápad je nový. Přesnost spadla z 93,5 % na 40,9 %, tedy pod úroveň náhody, a model změnil verdikt u víc než poloviny párů. Na čistě lidských nápadech stejná změna pohnula přesností GPT-5.4 jen asi o sedm bodů, u Claude Opus 4.6 ovšem o 21.

Pro týmy, které hodnotí vlastní generátory nápadů, je důležitější další číslo. Když soudci porovnávali nápady Claude Opus 4.5 se Sonnet 4.5 a GPT-5.4 s GPT-5.1, změna promptu převrátila v průměru čtvrtinu až třetinu verdiktů. Žebříček, který model vymýšlí originálnější výzkum, tak z velké části měří, kdo psal zadání soudce.

Dražší přístup nepomohl. GPT-5.6 Sol s nejvyšším rozpočtem na reasoning a živým hledáním na arXivu dosáhl macro-F1 0,78, o 11 bodů méně než Claude Opus 4.6 s 0,89, a stál zhruba desetkrát víc na jedno rozhodnutí. Jednoduchý prompt pro Opus 4.6 s hlasováním ze tří volání dal 0,854 za 2,59 dolaru za celé hodnocení. Idea Novelty Checker skončil na 0,642 za 30,66 dolaru a hodnotitel z AI Scientist od Sakana AI na 0,772 za 82,05 dolaru.

Vítězný prompt dostal nápovědu, kterou skutečný soudce nemá

Hodnota 93,5 % platí pro zadání, které modelu předem řekne, že v páru je právě jeden nový nápad. V reálném provozu tuhle jistotu nikdo nemá. Rozumnější je číst výsledek obráceně: bez nápovědy se GPT-5.4 na nápadech od AI ztratil.

Benchmark má i vlastní hranice. Novost tu definují recenzenti ICLR, tedy jedna komunita strojového učení se svými zvyky. Generátor nápadů byl záměrně primitivní, takže sada neříká, jak soudci zvládnou výstupy agentů, kteří literaturu sami prohledávají. A testované modely už nejsou nejnovější: většina výsledků se týká generací jako GPT-5.4 a Opus 4.6.

Rozhodne, jestli autoři AI vědců začnou zveřejňovat citlivost svých soudců

Ai2 dává k dispozici sadu i pipeline, kterou jde pustit na recenze dalších konferencí. Sledovat se vyplatí, jestli ji převezmou týmy, které o svých systémech tvrdí, že přicházejí s novými nápady. Férový výsledek by měl kromě přesnosti ukázat i to, kolik verdiktů se převrátí při jiném promptu.

Druhým signálem bude, jestli se výsledek udrží u novějších modelů a mimo strojové učení. Pokud i další generace soudců mění názor podle formulace, tvrzení „náš systém navrhuje originální výzkum“ bude dál potřebovat lidského recenzenta.

Lilithin verdikt

Ai2 udělala ze šesti modelů porotu vědecké soutěže a zjistila, že stačí přepsat pár slov v pozvánce a do finále postoupí jiné nápady. Kdo dnes nechá jeden model vymýšlet výzkum a druhý ho známkovat, pořádá soutěž, v níž o vítězi rozhoduje hlavně ten, kdo psal pravidla.