Lilith.
⌕
Redaktionelle Illustration: MedChemBench gibt GPT-6.2 Astra 84,5 %, doch die Stoffauswahl bleibt schwach
Illustration von Lilith · redaktioneller Remix

OpenAI hat MedChemBench veröffentlicht, einen multimodalen Benchmark mit 99 Aufgaben aus 117 Fachartikeln und Patenten. Ein Modell muss Molekülstrukturen lesen, mit Experimenten verbinden und entscheiden, welche Verbindungen weiter getestet werden sollten. GPT-6.2 Astra erreichte bei xhigh 84,5 % der verfügbaren Punkte.

Neunundneunzig Fälle verlangen Entscheidungen zwischen Zielkonflikten

Der Datensatz umfasst 761 verschiedene Molekülstrukturen. Sieben Bereiche reichen von der Lead-Auswahl über Struktur-Aktivitäts-Prognosen und ADME bis zu Sicherheit und Retrosynthese. Das Modell erhält Informationen aus einem bestimmten Zeitpunkt eines historischen Programms, spätere Ergebnisse dienen als Referenz.

Die Wertung trennt Strukturrekonstruktion, wissenschaftliche Begründung, Rangfolge und Auswahl sowie numerische Vorhersagen. GPT-6 Astra erzielte bei xhigh 95,4 % für Strukturen, aber nur ungefähr die Hälfte der Punkte bei Stoffauswahl und Zahlenprognosen. Diese Aufteilung ist aussagekräftiger als die Gesamtnote.

Chemie lesen und Forschungsentscheidungen treffen bleiben verschiedene Aufgaben

Medizinische Chemie besteht aus Zielkonflikten. Höhere Wirksamkeit kann Löslichkeit, Membranpassage oder metabolische Stabilität verschlechtern. MedChemBench verlangt deshalb eine Entscheidung unter mehreren gleichzeitigen Einschränkungen.

Für Forschungsteams ist die Fehlerverteilung besonders nützlich. Ein Modell kann einen 18-gliedrigen Ring korrekt rekonstruieren und trotzdem die falsche Verbindung empfehlen. Es kann Analysen beschleunigen, doch Experiment und Fachurteil bestimmen weiterhin die Priorität.

Historische Fälle könnten dem Modell bereits bekannt gewesen sein

Die Autoren schließen Trainingsdatenkontakt nicht aus. Das Hinzufügen einer DOI oder Patentnummer veränderte Mittelwerte nur zwischen minus 0,23 und plus 0,80 Prozentpunkten, wobei alle Intervalle null einschlossen. Kontamination ist damit nicht ausgeschlossen. Ein einzelnes historisches Ergebnis kann außerdem plausible Alternativen benachteiligen.

Jede Antwort entstand in einem Durchlauf ohne Werkzeuge, Feedback oder neue Experimente. Der Benchmark misst somit Reasoning über ein vorbereitetes Beweispaket und nicht die Leitung eines iterativen Forschungsprogramms.

Prospektive Blindtests werden den Laborwert zeigen

Entscheidend sind neue Fälle, deren Ausgang beim Erstellen der Aufgabe unbekannt ist. Unabhängige Chemiker sollten alternative Entwürfe beurteilen, ergänzt um eine Agentenvariante mit Recherche, Berechnung und Überarbeitung.

MedChemBench diagnostiziert die Schnittstelle zwischen Molekülzeichnung und Entscheidung. Praktischer Nutzen beginnt, wenn ein Vorschlag das Nasslabor erreicht und gemessen wird, bevor die Antwort in einer Publikation steht.

Liliths Urteil

Das Modell setzt auf dem Papier bereits einen 18-gliedrigen Ring korrekt zusammen. Über das Programm entscheidet der Moment, in dem ein Chemiker die gewählte Verbindung testet und das Gerät eine andere Zahl liefert.