Basta cambiar unas palabras del prompt para que un juez de originalidad pase del 93,5 % a acertar menos que una moneda

Ai2 ha publicado un benchmark que mide con qué fiabilidad los modelos de lenguaje juzgan si una idea de investigación es nueva. Para quien construye un «científico de IA», el resultado es incómodo: el mismo modelo, ante las mismas ideas, cambia de veredicto según unas pocas palabras de las instrucciones, y los sistemas especializados más caros pierden frente a un prompt sencillo.

El benchmark se apoya en las revisiones de ICLR 2026, no solo en si el artículo fue aceptado

El 27 de octubre Ai2 publicó el estudio Old Ideas, Novel Problems junto con datos, código y un pipeline para construir nuevos conjuntos de prueba. Evalúa los llamados novelty judges, modelos de lenguaje que deciden si una idea aporta algo respecto al trabajo previo. Se probaron seis modelos: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6.

El conjunto se construyó a partir de las revisiones de ICLR 2026. Los autores extrajeron los pasajes en los que los revisores hablaban de forma explícita de originalidad. El grupo fuerte reúne 154 ideas de artículos aceptados en el 10 % superior de su área, cuya novedad elogiaron los revisores sin que nadie la discutiera. El grupo débil reúne 145 ideas de artículos rechazados en el 10 % inferior, en los que los revisores cuestionaron la originalidad.

Un segundo conjunto empareja esas mismas 154 ideas humanas con 154 ideas de un generador simple que no buscó en la literatura. Los autores suponen que las generadas son más débiles, así que son etiquetas débiles. Un experto revisó 30 pares, sobre todo casos en los que falló el mejor juez, y prefirió la idea humana en los 30.

Unas pocas palabras en las instrucciones mueven el acierto más de 50 puntos

El prompt provocó las mayores oscilaciones. GPT-5.4 recibió los mismos pares con dos instrucciones. La primera le revelaba que los revisores habían marcado como novedosa exactamente una idea de cada par. La segunda solo preguntaba cuál era la novedosa. El acierto cayó del 93,5 % al 40,9 %, por debajo del azar, y el modelo cambió de veredicto en más de la mitad de los pares. Con ideas solo humanas, el mismo cambio movió a GPT-5.4 apenas unos siete puntos, pero a Claude Opus 4.6 hasta 21.

Para los equipos que evalúan sus propios generadores de ideas, importa más otra cifra. Cuando los jueces compararon ideas de Claude Opus 4.5 con Sonnet 4.5 y de GPT-5.4 con GPT-5.1, un cambio de prompt invirtió de media entre una cuarta y una tercera parte de los veredictos. Un ranking de qué modelo propone investigación más original mide, en buena parte, quién escribió el prompt del juez.

Gastar más no ayudó. GPT-5.6 Sol, con el máximo presupuesto de reasoning y búsqueda en vivo en arXiv, obtuvo un macro-F1 de 0,78, 11 puntos por debajo de Claude Opus 4.6 con 0,89, y costó unas diez veces más por decisión. Un prompt sencillo para Opus 4.6 con votación por mayoría entre tres llamadas logró 0,854 por 2,59 dólares en toda la evaluación. Idea Novelty Checker se quedó en 0,642 por 30,66 dólares, y el evaluador de AI Scientist de Sakana AI en 0,772 por 82,05 dólares.

El prompt ganador recibió una pista que ningún juez real tiene

El 93,5 % corresponde a una instrucción que anuncia al modelo que en cada par hay exactamente una idea nueva. En un uso real nadie tiene esa certeza. Lo más útil es leer el resultado al revés: sin la pista, GPT-5.4 se desorientó ante las ideas generadas por IA.

El benchmark también tiene límites propios. Aquí la novedad la definen los revisores de ICLR, una sola comunidad de aprendizaje automático con sus costumbres. El generador de ideas era deliberadamente primitivo, de modo que el conjunto dice poco sobre cómo se comportarán los jueces ante agentes que buscan en la literatura por su cuenta. Además, los modelos probados ya no son los más recientes: la mayoría de los resultados se refiere a generaciones como GPT-5.4 y Opus 4.6.

La prueba será si los creadores de científicos de IA publican la sensibilidad de sus jueces

Ai2 ofrece tanto el conjunto como un pipeline que puede aplicarse a revisiones de otros congresos. Conviene vigilar si lo adoptan los equipos que afirman que sus sistemas proponen ideas nuevas. Un resultado honesto debería mostrar, además del acierto, cuántos veredictos se invierten con otro prompt.

La segunda señal será si el hallazgo se mantiene con modelos más nuevos y fuera del aprendizaje automático. Si la próxima generación de jueces sigue cambiando de opinión según la redacción, la frase «nuestro sistema propone investigación original» seguirá necesitando un revisor humano.

El veredicto de Lilith

Ai2 convirtió a seis modelos en el jurado de una feria científica y descubrió que basta con reescribir unas líneas de la invitación para que pasen a la final otras ideas. Quien hoy deja que un modelo invente investigación y otro la califique organiza un concurso en el que el ganador lo decide sobre todo quien redactó las bases.