Wystarczy zmienić kilka słów w prompcie, a AI oceniająca oryginalność spada z 93,5 % poniżej rzutu monetą

Ai2 opublikowało benchmark, który mierzy, jak wiarygodnie modele językowe oceniają, czy pomysł badawczy jest nowy. Dla każdego, kto buduje „AI naukowca”, wynik jest niewygodny: ten sam model przy tych samych pomysłach zmienia werdykt zależnie od kilku słów w poleceniu, a drogie wyspecjalizowane systemy przegrywają ze zwykłym promptem.

Benchmark opiera się na recenzjach z ICLR 2026, a nie na samym przyjęciu artykułu

Ai2 27 października udostępniło badanie Old Ideas, Novel Problems razem z danymi, kodem i pipeline do budowy kolejnych zestawów testowych. Bada tak zwanych novelty judges, czyli modele językowe, które rozstrzygają, czy pomysł wnosi coś ponad dotychczasowe prace. Przetestowano sześć modeli: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 i Claude Opus 4.6.

Zestaw powstał z recenzji konferencji ICLR 2026. Autorzy wyłowili z nich fragmenty, w których recenzenci wprost pisali o oryginalności. Mocną pulę tworzą 154 pomysły z przyjętych artykułów w górnych 10 % swojej dziedziny, gdzie recenzenci chwalili nowatorstwo i nikt go nie kwestionował. Słabą pulę tworzy 145 pomysłów z odrzuconych artykułów w dolnych 10 %, gdzie recenzenci zgłaszali zastrzeżenia do oryginalności.

Drugi zestaw łączy w pary te same 154 ludzkie pomysły ze 154 pomysłami prostego generatora, który nie przeszukiwał literatury. Autorzy zakładają, że te wygenerowane są słabsze, więc to tylko słabe etykiety. Ekspert przejrzał 30 par, głównie takich, przy których najlepszy sędzia się pomylił, i we wszystkich 30 wybrał pomysł człowieka.

Kilka słów w poleceniu zmienia trafność o ponad 50 punktów

Największe wahania wywołał prompt. GPT-5.4 dostał te same pary z dwoma poleceniami. Pierwsze zdradzało, że recenzenci uznali za nowy dokładnie jeden pomysł w każdej parze. Drugie po prostu pytało, który pomysł jest nowy. Trafność spadła z 93,5 % do 40,9 %, czyli poniżej poziomu przypadku, a model zmienił werdykt w ponad połowie par. Przy pomysłach wyłącznie ludzkich ta sama zmiana przesunęła wynik GPT-5.4 tylko o około siedem punktów, ale Claude Opus 4.6 już o 21.

Dla zespołów, które oceniają własne generatory pomysłów, ważniejsza jest kolejna liczba. Gdy sędziowie porównywali pomysły Claude Opus 4.5 z Sonnet 4.5 oraz GPT-5.4 z GPT-5.1, zmiana promptu odwracała średnio od jednej czwartej do jednej trzeciej werdyktów. Ranking modeli, które wymyślają oryginalniejsze badania, w dużej mierze mierzy więc to, kto napisał polecenie dla sędziego.

Większy budżet nie pomógł. GPT-5.6 Sol z najwyższym budżetem na reasoning i wyszukiwaniem na żywo w arXiv osiągnął macro-F1 0,78, o 11 punktów mniej niż Claude Opus 4.6 z wynikiem 0,89, przy mniej więcej dziesięciokrotnie wyższym koszcie decyzji. Prosty prompt dla Opus 4.6 z głosowaniem większościowym z trzech wywołań dał 0,854 za 2,59 dolara za całą ewaluację. Idea Novelty Checker uzyskał 0,642 za 30,66 dolara, a ewaluator z AI Scientist od Sakana AI 0,772 za 82,05 dolara.

Zwycięski prompt dostał podpowiedź, której prawdziwy sędzia nie ma

Wynik 93,5 % dotyczy polecenia, które z góry mówi modelowi, że w parze jest dokładnie jeden nowy pomysł. W prawdziwym zastosowaniu nikt nie ma takiej pewności. Rozsądniej czytać wynik odwrotnie: bez podpowiedzi GPT-5.4 pogubił się przy pomysłach od AI.

Sam benchmark też ma granice. Nowatorstwo definiują tu recenzenci ICLR, czyli jedna społeczność uczenia maszynowego z własnymi przyzwyczajeniami. Generator pomysłów był celowo prymitywny, więc zestaw niewiele mówi o tym, jak sędziowie poradzą sobie z agentami, którzy sami przeszukują literaturę. Do tego testowane modele nie są już najnowsze: większość wyników dotyczy generacji takich jak GPT-5.4 i Opus 4.6.

Rozstrzygnie to, czy twórcy AI naukowców zaczną ujawniać wrażliwość swoich sędziów

Ai2 udostępnia zarówno zestaw, jak i pipeline, który można uruchomić na recenzjach z innych konferencji. Warto patrzeć, czy przejmą go zespoły, które twierdzą, że ich systemy proponują nowe pomysły. Uczciwy wynik powinien obok trafności pokazywać, ile werdyktów odwraca się przy innym prompcie.

Drugim sygnałem będzie to, czy wynik utrzyma się w nowszych modelach i poza uczeniem maszynowym. Jeśli kolejna generacja sędziów nadal zmienia zdanie pod wpływem sformułowania, hasło „nasz system proponuje oryginalne badania” wciąż będzie wymagało recenzenta z krwi i kości.

Werdykt Lilith

Ai2 zrobiło z sześciu modeli jury konkursu naukowego i odkryło, że wystarczy przeredagować kilka linijek zaproszenia, by do finału weszły inne pomysły. Kto dziś każe jednemu modelowi wymyślać badania, a drugiemu je oceniać, organizuje konkurs, w którym o zwycięzcy decyduje głównie autor regulaminu.