Publicar investigaciones sobre IA utilizando modelos antiguos no es intrínsecamente malo, pero esconde una trampa

El ritmo académico choca con la velocidad de la IA

Ethan Mollick, profesor de la Wharton School, ha abordado un problema cada vez mayor en la investigación académica sobre inteligencia artificial. Muchos artículos publicados que examinan los impactos de la IA evalúan modelos antiguos (como GPT-3.5) simplemente porque el tiempo transcurrido entre la recopilación de datos y la revisión por pares abarca muchos meses. Según Mollick, esto no es intrínsecamente malo cuando se trata de probar un concepto. Si la investigación demuestra que una generación antigua de IA puede realizar una tarea, sigue siendo un hallazgo válido.

Sin embargo, señala las importantes limitaciones de este enfoque. Los académicos deben tener extremo cuidado al sacar conclusiones. Una vez que un modelo de IA antiguo demuestra una capacidad específica, es muy probable que las versiones más nuevas sean aún más eficientes y rentables en esa misma tarea.

Los datos inexactos crean una falsa sensación de seguridad

Mientras que la comunidad técnica comprende que los modelos mejoran a un ritmo vertiginoso, esto puede no ser obvio para los lectores no técnicos o los directivos corporativos. El problema surge cuando un artículo de investigación demuestra la “incapacidad” de una IA para resolver un problema específico basándose en un modelo antiguo, sin enfatizar claramente que una versión más reciente probablemente ya ha superado esa limitación.

Este retraso puede llevar a decisiones gerenciales peligrosas. Si una empresa decide posponer la adopción de la IA basándose en un estudio académico que demuestra su falta de fiabilidad, puede estar basando su estrategia en datos que llevan un año sin reflejar la realidad. Por tanto, una discusión cuidadosa de los resultados es una necesidad, no solo un ejercicio formal de metodología.

Cuando los datos antiguos dejan de ser útiles

Este desajuste entre el ritmo de desarrollo y la velocidad de publicación significa que el proceso tradicional de revisión por pares está empezando a fallar en la investigación aplicada sobre IA. La investigación sobre modelos antiguos no es inútil para comprender los principios básicos, pero es completamente inadecuada para predecir límites tecnológicos.

Esto crea un doble rasero: mientras que las capacidades demostradas por los modelos de IA más antiguos pueden considerarse una línea base fiable para el desarrollo futuro, los fallos de los modelos antiguos no nos dicen absolutamente nada sobre las capacidades futuras.

Priorizando la metodología sobre los resultados

La prueba de cómo el mundo académico afrontará este problema no será un proceso de publicación más rápido, sino un cambio en la metodología de evaluación. Los estudios más valiosos serán aquellos que puedan probar conceptos abstractos independientemente del LLM específico que se ejecute en segundo plano.

El veredicto de Lilith

Demostrar las capacidades de los modelos antiguos tiene su valor. Demostrar sus limitaciones y decirle al público lego que “la IA no puede hacer esto” roza la difusión de desinformación bajo la apariencia de ciencia.