La IA ya supera a las personas buscando datos en pruebas acotadas. La revisión humana solo cambia de función

Ethan Mollick publicó una comparación en la que los agentes de IA modernos superan a las personas al localizar datos difíciles y revisar afirmaciones científicas. Las cifras llaman la atención. Aplicarlas al trabajo cotidiano es, sin embargo, una interpretación de Mollick y no una conclusión demostrada por los dos estudios.

Dos pruebas favorecen a los agentes, pero miden trabajos distintos

En BrowseComp, los investigadores humanos dispusieron de unas 2 horas por pregunta difícil. Coincidieron con la respuesta de referencia en 317 de 1.255 casos, un 25,3 %. El gráfico de Mollick sitúa a sistemas más recientes cerca del 90 %, aunque los laboratorios utilizaron presupuestos y configuraciones diferentes.

El estudio DeepFact de ACL 2026 evaluó afirmaciones en informes de investigación. Especialistas con nivel de doctorado que trabajaron sin ayuda obtuvieron un 60,8 % en afirmaciones ocultas con respuesta conocida. Tras tres rondas adicionales de auditoría de pruebas y revisión de etiquetas, su precisión subió al 90,9 %. DeepFactEval alcanzó un 83,4 % en la versión congelada del benchmark.

La revisión pasa de buscar cada dato a definir bien la tarea y sus riesgos

Para los equipos, el cambio útil es que el modelo ya puede actuar como un segundo par de ojos. Puede revisar fuentes, dividir una afirmación y señalar contradicciones más deprisa que una persona ante un buscador vacío. Un proceso razonable no tiene por qué exigir la comprobación manual de cada frase.

La persona sigue eligiendo la pregunta, fijando el riesgo aceptable y valorando el coste de un error. Una nota interna, un escrito judicial y una dosis médica requieren controles distintos. Ningún benchmark asume esa responsabilidad.

Mollick lleva demasiado lejos unos resultados obtenidos en tareas acotadas

BrowseComp reúne deliberadamente 1.266 preguntas difíciles y solo puntúa la respuesta final. DeepFact contiene 143 afirmaciones con respuesta conocida, de las cuales 120 carecían de respaldo de forma intencionada. Responder siempre “sin respaldo” bastaría para lograr un 83,9 %.

Los resultados tampoco demuestran que un agente detecte de forma fiable un encargo incompleto, un enfoque equivocado o un documento interno obsoleto. Demuestran una gran capacidad de búsqueda y auditoría en tareas bien delimitadas. Es valioso, pero más limitado.

Los evals internos y el coste del error decidirán cuánto control hace falta

Las organizaciones deberían medir tareas propias con documentos reales, fuentes locales, varios modelos y ejecuciones repetidas. Importan menos los promedios que el tipo de error y la posibilidad de detectarlo antes de que el resultado llegue a un cliente.

Otra señal útil será una reproducción independiente con el mismo presupuesto de búsqueda. Así podrá separarse el avance del modelo de las ventajas de ejecutar durante más tiempo, usar varios agentes y preparar cuidadosamente la prueba.

El veredicto de Lilith

El revisor quizá ya no tenga que abrir cada enlace, pero sigue teniendo el botón rojo. Un benchmark mide la puntería, no el coste de acertar al objetivo equivocado.