プロンプトを数語変えるだけで、AIの新規性審査は93.5%からコイン投げ以下に落ちる

Ai2は、言語モデルが研究アイデアの新しさをどこまで確かに判定できるかを測るベンチマークを公開した。「AI科学者」を作る側にとって結果は気まずい。同じモデルが同じアイデアを前に、指示の数語で判定を変え、高価な専用システムは単純なプロンプトに負けた。

ベンチマークはICLR 2026の査読コメントに基づき、採択の有無だけでは判断しない

Ai2は10月27日、研究「Old Ideas, Novel Problems」をデータ、コード、新しい評価セットを作るパイプラインとともに公開した。対象はいわゆるnovelty judge、つまりアイデアが既存研究を超える何かを持つかを判定する言語モデルだ。テストしたのはGPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6の6モデルである。

評価セットはICLR 2026の査読から作られた。著者らは、査読者が独創性について明示的に述べた箇所を抜き出した。強いグループは、分野の上位10%に入る採択論文から集めた154件のアイデアで、査読者が新規性を評価し、異論は出ていない。弱いグループは、下位10%の不採択論文から集めた145件で、査読者が独創性に疑問を示したものだ。

2つ目のセットは、同じ154件の人間のアイデアと、文献検索をしない単純な生成モデルが出した154件を組み合わせる。生成アイデアの方が弱いというのは著者らの想定で、ラベルは弱いものにとどまる。専門家が30組を確認し、その多くは最良の判定モデルが誤った例だったが、30組すべてで人間のアイデアを選んだ。

指示の数語で正答率が50ポイント以上動く

最大の揺れを生んだのはプロンプトだった。GPT-5.4に同じペアを2種類の指示で見せた。1つ目は、各ペアのうち査読者が新しいと判断したのはちょうど1つだと伝えた。2つ目は、どちらが新しいかを尋ねただけだ。正答率は93.5%から40.9%に下がり、偶然の水準を下回った。モデルは半数を超えるペアで判定を変えた。人間のアイデアだけのセットでは、同じ変更によるGPT-5.4の変化は約7ポイントだったが、Claude Opus 4.6は21ポイント動いた。

自社のアイデア生成モデルを評価するチームにとっては、別の数字の方が重い。Claude Opus 4.5とSonnet 4.5、GPT-5.4とGPT-5.1のアイデアを比べさせると、プロンプトの変更で平均して4分の1から3分の1の判定が入れ替わった。どのモデルがより独創的な研究を出すかというランキングは、かなりの部分で審査役のプロンプトを誰が書いたかを測っていることになる。

コストをかけても改善しなかった。reasoning予算を最大にし、arXivをライブ検索するGPT-5.6 Solのmacro-F1は0.78で、0.89のClaude Opus 4.6に11ポイント及ばず、1判定あたりの費用は約10倍だった。3回呼び出して多数決を取るOpus 4.6の単純なプロンプトは、評価全体で2.59ドルをかけて0.854を出した。Idea Novelty Checkerは30.66ドルで0.642、Sakana AIのAI Scientistに含まれる新規性評価器は82.05ドルで0.772にとどまった。

勝ったプロンプトは、本物の審査役が持たないヒントを得ていた

93.5%という数字は、各ペアに新しいアイデアがちょうど1つあると事前に教える指示での結果だ。実際の運用でそんな確証を持つ人はいない。むしろ逆に読む方が役に立つ。ヒントがなければ、GPT-5.4はAIが出したアイデアの前で迷った。

ベンチマーク自体にも限界がある。ここでの新規性を決めるのはICLRの査読者、つまり独自の慣習を持つ機械学習の一コミュニティだ。アイデア生成モデルは意図的に素朴なものなので、自分で文献を探すエージェントの出力を審査役がどう扱うかは、このセットからはほとんど分からない。しかも試したモデルはもう最新ではなく、結果の大半はGPT-5.4やOpus 4.6の世代に関するものだ。

AI科学者の開発者が審査役の感度を公開し始めるかが分かれ目になる

Ai2はデータセットに加え、ほかの学会の査読にも使えるパイプラインを公開している。注目すべきは、自社システムが新しいアイデアを生むとうたうチームがこれを採用するかどうかだ。公正な結果なら、正答率と並べて、別のプロンプトで何件の判定が入れ替わるかも示すべきだろう。

2つ目のシグナルは、この結果が新しいモデルや機械学習以外の分野でも成り立つかどうかだ。次の世代の審査役も言い回しで意見を変えるなら、「当社のシステムは独創的な研究を提案する」という主張には、引き続き人間の査読者が必要になる。

Lilithの判定

Ai2は6つのモデルを科学コンテストの審査員にし、招待状の数行を書き換えるだけで決勝に残るアイデアが変わることを見つけた。あるモデルに研究を考えさせ、別のモデルに採点させる今のやり方は、勝者を決めるのが主に規則を書いた人というコンテストになっている。