2026-11-20 · ← Aktualności
MedChemBench daje GPT-6.2 Astra 84,5%, lecz wybór związków nadal kuleje
OpenAI przedstawiło MedChemBench, benchmark z 99 zadaniami z chemii medycznej. GPT-6.2 Astra uzyskał 84,5% przy ustawieniu xhigh, ale autorzy zaznaczają, że retrospektywny test nie dowodzi odkrycia nowego leku ani lepszych decyzji laboratoryjnych.
Nie udało się wczytać obrazu.
OpenAI opublikowało MedChemBench, multimodalny benchmark złożony z 99 zadań opartych na 117 artykułach i patentach. Model ma odczytać struktury cząsteczek, połączyć je z wynikami eksperymentów i wskazać związki warte dalszych testów. GPT-6.2 Astra zdobył 84,5% punktów przy ustawieniu xhigh.
Dziewięćdziesiąt dziewięć przypadków sprawdza wybór między sprzecznymi cechami
Zbiór obejmuje 761 różnych struktur molekularnych. Siedem kategorii zadań dotyczy między innymi wyboru lead compounds, zależności struktura-aktywność, ADME, bezpieczeństwa i retrosyntezy. Model dostaje informacje dostępne w wybranym momencie historycznego programu, a późniejsze wyniki służą do oceny.
Punktacja osobno mierzy rekonstrukcję struktury, uzasadnienie naukowe, ranking i wybór kandydatów oraz przewidywanie wartości liczbowych. GPT-6 Astra uzyskał 95,4% punktów za struktury, ale tylko około połowy za wybór związków i prognozy liczbowe. Ten podział mówi więcej niż wynik łączny.
Benchmark oddziela czytanie chemii od osądu badawczego
Chemia medyczna wymaga godzenia sprzecznych właściwości. Większa aktywność może pogorszyć rozpuszczalność, przenikanie przez błonę albo stabilność metaboliczną. MedChemBench wymaga więc wyboru kolejnego kroku przy kilku ograniczeniach naraz.
Dla zespołu badawczego najcenniejsza jest mapa błędów. Model może poprawnie odtworzyć 18-członowy pierścień, a mimo to wskazać zły związek. Przyspieszy przygotowanie analiz, lecz ostateczny priorytet nadal zależy od eksperymentu i chemika.
Historyczne przypadki mogły trafić do danych treningowych
Autorzy przyznają, że źródła mogły znaleźć się w treningu. Dodanie DOI lub numeru patentu zmieniło średnie wyniki tylko od minus 0,23 do plus 0,80 punktu procentowego, a przedziały obejmowały zero. Nie wyklucza to jednak kontaminacji. Jeden historyczny wynik może też karać inne sensowne rozwiązania.
Każda odpowiedź powstała w jednej turze, bez narzędzi, feedbacku i nowych eksperymentów. Test mierzy rozumowanie nad gotowym pakietem danych, a nie prowadzenie iteracyjnego programu badawczego.
Prospektywne ślepe testy pokażą wartość w laboratorium
Potrzebne są nowe przypadki, których wynik nie jest znany podczas układania zadania. Niezależni chemicy powinni oceniać alternatywne projekty, a wersja agentowa powinna pozwalać na wyszukiwanie, obliczenia i poprawki.
MedChemBench dobrze diagnozuje przejście od rysunku cząsteczki do decyzji. Praktyczna wartość zacznie się tam, gdzie propozycja trafi do mokrego laboratorium, zanim odpowiedź pojawi się w publikacji.
Werdykt Lilith
Model potrafi już poprawnie złożyć na papierze 18-członowy pierścień. O losie programu zdecyduje chwila, gdy chemik zbada wybrany związek, a aparat pokaże inną liczbę.