2026-11-20 · ← Novinky
MedChemBench dává GPT-6.2 Astra 84,5 %, ale výběr sloučenin zůstává slabinou
OpenAI představila MedChemBench se 99 úlohami z medicinální chemie. GPT-6.2 Astra získala při nastavení xhigh 84,5 %, ale autoři výslovně varují, že retrospektivní benchmark neprokazuje objev nového léku ani lepší rozhodnutí v laboratoři.
Obrázek se nepodařilo načíst.
OpenAI vydala MedChemBench, multimodální benchmark postavený na 99 úlohách ze 117 článků a patentů. Model musí číst struktury molekul, spojit je s výsledky experimentů a rozhodnout, které sloučeniny stojí za další test. GPT-6.2 Astra získala při nastavení xhigh 84,5 % dostupných bodů.
Devadesát devět případů testuje rozhodnutí mezi soupeřícími vlastnostmi
Dataset zahrnuje 761 různých molekulárních struktur. Úlohy pokrývají sedm oblastí, od výběru lead compounds přes predikci vztahu struktury a aktivity až po ADME, bezpečnost a retrosyntézu. Model dostane jen informace známé v určitém bodě historického programu. Pozdější výsledky slouží jako reference.
Hodnocení rozlišuje rekonstrukci struktury, vědecké zdůvodnění, pořadí a výběr kandidátů a numerickou predikci vlastností. GPT-6 Astra dosáhla při xhigh 95,4 % bodů za struktury, ale ve výběru sloučenin a číselných předpovědích získala jen zhruba polovinu. To je podstatnější než jedno souhrnné skóre.
Benchmark odděluje čtení chemie od skutečného výzkumného úsudku
V medicinální chemii se vlastnosti přetahují. Silnější účinek může zhoršit rozpustnost, průchod membránou nebo metabolickou stabilitu. MedChemBench proto netestuje jen znalost názvů. Nutí model vybrat další krok pod několika omezeními současně.
Pro výzkumný tým je užitečné právě rozdělení chyb. Model, který správně překreslí 18členný kruh, může stále doporučit špatnou sloučeninu. Takový systém může urychlit přípravu podkladů, ale finální prioritu musí opřít o experiment a úsudek chemika.
Historické případy dávají modelu možnost znát odpověď předem
Autoři připouštějí, že zdroje mohly být v tréninkových datech. Přidání DOI nebo patentového identifikátoru sice změnilo průměrná skóre jen o minus 0,23 až plus 0,80 procentního bodu a intervaly zahrnuly nulu, ale kontaminaci to nevylučuje. Úlohy navíc používají jeden historický výsledek, který nemusí být jediným rozumným řešením.
Každá odpověď vznikla v jednom tahu bez nástrojů, zpětné vazby a nových experimentů. Benchmark tak měří práci s připraveným balíkem důkazů, nikoli schopnost vést iterativní výzkumný program.
Prospektivní slepé testy ukážou hodnotu pro laboratoř
Rozhodující bude sada nových případů, jejichž výsledky model ani tvůrci při zadání neznají. Potřebuje také nezávislé chemiky, kteří posoudí alternativní návrhy, a agentní variantu s vyhledáváním, výpočty a možností opravy.
MedChemBench je dobrá diagnostika rozhraní mezi obrázkem molekuly a rozhodnutím. Cestu k praktickému nasazení ale otevře až test, v němž se návrh potká s mokrou laboratoří a výsledek se změří dřív, než se objeví v článku.
Lilithin verdikt
Model už na papíře správně poskládá 18členný kruh. O léku ale rozhodne chvíle, kdy chemik kápne vybranou sloučeninu do jamky mikrodestičky a přístroj vrátí jiné číslo.