BioBasicsBench prüft Laboranalysen, das beste Modell erreicht 66,7 %

OpenAI und das Biotechunternehmen Ligo stellen BioBasicsBench mit 100 Aufgaben aus dem Laboralltag vor. GPT-6 Astra erreichte 66,7 % der möglichen Punkte. Seine dokumentierten Fehler könnten Forscher dennoch zur falschen Probe führen oder Berechnungen verzerren.

Hundert Aufgaben beginnen bei Rohdaten statt Publikationsgrafiken

Der Benchmark umfasst Proteinmethoden, Bildgebung und Zytometrie, quantitative Assays, Nukleinsäuren und molekulares Klonieren. Eingaben sind Gele, Kolonieplatten, Mikroskopie, Sequenzdaten, Geräteexporte und Protokollvideos.

Jede Aufgabe wurde von einem weiteren Ligo-Forscher, einem externen promovierten Laborwissenschaftler und intern geprüft. Sieben Modelle in 37 Konfigurationen lösten jede Aufgabe fünfmal. Insgesamt entstanden 18.500 Antworten.

Punkte gibt es auch für das Erkennen unzureichender Belege

GPT-6 Astra erzielte mit xhigh 66,7 %, bei einem 95-Prozent-Konfidenzintervall von 60,3 bis 73,1 %. GPT-5.6 Sol erreichte 43,8 %. Bewertet werden Messung, Begründung, Kontrollen und das Zurückweisen unbelegter Schlüsse.

Ein nützlicher Agent muss wissen, wann er aufhören und ein neues Experiment verlangen sollte. Das ist wichtiger als ein weiterer Wissenstest in Biologie.

Zwei Drittel der Punkte lassen weiterhin teure Fehler zu

Astra erkannte Fluoreszenzüberlagerung und eine ungeeignete Kontrollplatte. Bei einer colony-PCR-Aufgabe wählte es jedoch falsche Kolonien. In einem weiteren Fall überschätzte es die Zahl um etwa 12 %, was bei gleichem Volumen und gleicher Verdünnung die Transformationseffizienz ebenso verzerren würde.

OpenAI berichtet die Resultate und vergleicht nur eigene Modelle. Die öffentliche Seite verlinkt weder Datensatz noch Code oder Paper. Unabhängige Teams können Auswahl und Bewertung daher noch nicht prüfen.

Offene Daten und weitere Labore entscheiden über den Wert

Zuerst müssen Aufgaben, Rubrics und anonymisierte Rohdaten erscheinen. Danach zählt die Leistung außerhalb von Ligo mit anderen Geräten, Protokollen und Fehlermustern.

Für den Einsatz ist die Genauigkeit in riskanten Teilgruppen wichtiger als der Mittelwert von 66,7 %. Labore brauchen Belege für zuverlässige Kontrolle genau dort, wo ein Fehler das nächste Experiment verändert.

Liliths Urteil

Ein Agent mit zwei Dritteln der Punkte kann Bilder sortieren. An die Pipette darf er erst, wenn er die schlechte Kontrolle vor dem Forscher erkennt, der sonst eine Woche verliert.