2026-11-20 · ← Noticias
MedChemBench da un 84,5 % a GPT-6.2 Astra, pero falla más al elegir compuestos
OpenAI ha presentado MedChemBench, un benchmark de 99 problemas de química medicinal. GPT-6.2 Astra obtuvo un 84,5 % con xhigh, aunque los autores advierten que una prueba retrospectiva no demuestra descubrimiento de fármacos ni mejores decisiones de laboratorio.
No se pudo cargar la imagen.
OpenAI ha publicado MedChemBench, un benchmark multimodal con 99 problemas extraídos de 117 artículos y patentes. El modelo debe leer estructuras moleculares, relacionarlas con resultados experimentales y decidir qué compuestos merece la pena probar. GPT-6.2 Astra obtuvo el 84,5 % del crédito disponible con xhigh.
Noventa y nueve casos obligan a elegir entre propiedades enfrentadas
El conjunto incluye 761 estructuras moleculares distintas. Sus siete áreas abarcan selección de lead compounds, relación entre estructura y actividad, ADME, seguridad y retrosíntesis. El modelo recibe la información disponible en un momento histórico y los resultados posteriores alimentan la referencia.
La evaluación separa reconstrucción estructural, razonamiento científico, ranking y selección, y predicción numérica. GPT-6 Astra logró un 95,4 % en estructuras con xhigh, pero solo cerca de la mitad del crédito en selección de compuestos y predicciones numéricas. Esa división resulta más informativa que la nota agregada.
Leer química y tomar una decisión científica son capacidades distintas
La química medicinal obliga a equilibrar propiedades. Una mayor potencia puede empeorar la solubilidad, el paso por membranas o la estabilidad metabólica. MedChemBench exige escoger el siguiente paso bajo varias restricciones a la vez.
Para un equipo, el desglose de errores es lo útil. Un modelo puede reconstruir bien un anillo de 18 átomos y aun así recomendar el compuesto equivocado. Puede acelerar el análisis, pero el experimento y el criterio del químico deben fijar la prioridad final.
Los casos históricos pueden haber aparecido durante el entrenamiento
Los autores admiten una posible exposición a las fuentes. Añadir el DOI o la patente cambió las medias entre menos 0,23 y más 0,80 puntos porcentuales, con intervalos que incluían cero, pero eso no descarta contaminación. Un único desenlace histórico también puede penalizar alternativas válidas.
Cada respuesta se produjo en un solo turno, sin herramientas, feedback ni experimentos nuevos. La prueba mide razonamiento sobre un paquete preparado, no la capacidad de dirigir un programa iterativo.
Las pruebas prospectivas y ciegas decidirán su valor en laboratorio
El siguiente paso debe usar casos nuevos cuyo resultado aún se desconozca. También requiere químicos independientes que valoren diseños alternativos y una versión agent con búsqueda, cálculos y revisión.
MedChemBench diagnostica bien el salto entre el dibujo de una molécula y una decisión. El uso práctico empezará cuando una propuesta llegue al laboratorio húmedo y se mida antes de que la respuesta aparezca publicada.
El veredicto de Lilith
El modelo ya reconstruye bien sobre el papel un anillo de 18 átomos. El programa se decide cuando un químico prueba el compuesto elegido y el instrumento devuelve otro número.