BioBasicsBench mide el análisis de laboratorio y el mejor modelo obtiene un 66,7 %

OpenAI y la biotecnológica Ligo han presentado BioBasicsBench, 100 tareas de trabajo cotidiano en un wet lab. GPT-6 Astra obtuvo el 66,7 % de los puntos disponibles. Sus errores documentados aún podrían enviar a un científico hacia la muestra equivocada.

Cien tareas empiezan con pruebas sin procesar

El benchmark cubre proteínas, imagen y citometría, cuantificación, ácidos nucleicos y clonación molecular. Incluye geles, placas de colonias, microscopía, lecturas de secuenciación, exportaciones de instrumentos y vídeo de protocolos.

Cada tarea recibió revisión de otro científico de Ligo, un especialista externo con doctorado y una revisión interna final. Siete modelos en 37 combinaciones realizaron cinco intentos por tarea, con 18.500 respuestas en total.

La puntuación premia reconocer que faltan pruebas

GPT-6 Astra obtuvo un 66,7 % en xhigh, con un intervalo de confianza del 95 % entre 60,3 y 73,1 %. GPT-5.6 Sol logró un 43,8 %. Las rúbricas valoran mediciones, razonamiento, controles y la capacidad de rechazar conclusiones sin respaldo.

Un agente útil debe saber cuándo dejar de calcular y pedir otro experimento. Esa habilidad importa más que otro examen de conocimientos biológicos.

Dos tercios de los puntos todavía permiten errores caros

Astra detectó interferencias fluorescentes y una placa de control inválida. También eligió colonias incorrectas en una tarea de colony PCR. En otro caso contó cerca de un 12 % de colonias de más, inflando en igual proporción la eficiencia estimada con volumen y dilución fijos.

OpenAI publica los resultados y solo compara modelos propios. La página no enlaza dataset, código ni paper, por lo que equipos independientes no pueden auditar la selección y la puntuación.

Los datos abiertos y otros laboratorios decidirán su valor

La primera señal será publicar tareas, rúbricas y datos anonimizados. La segunda será medir el rendimiento fuera de Ligo, con otros instrumentos, protocolos y fallos habituales.

Para desplegarlo importará más la precisión en grupos de riesgo que el promedio del 66,7 %. El laboratorio necesita saber si el agente revisa controles, calibración e incertidumbre donde un error cambia el siguiente experimento.

El veredicto de Lilith

Un agente con dos tercios de los puntos puede ordenar imágenes. Que no toque la pipeta hasta detectar el mal control antes que el científico que está a punto de perder una semana.