2026-11-06 · ← News
BioBasicsBench prüft Agenten mit rohen Labordaten. Astra erreicht 66,7 %
OpenAI und Ligo haben 100 Aufgaben aus dem Laboralltag zusammengestellt, bei denen Agenten Gele, Mikroskopiebilder, Tabellen und Videos auswerten. GPT-6 Astra erreichte 66,7 % der möglichen Punkte, doch der Benchmark belegt noch keine verlässlichen Entscheidungen ohne Fachpersonal.
Das Bild konnte nicht geladen werden.
OpenAI hat BioBasicsBench vorgestellt, einen gemeinsam mit dem Biotechnologieunternehmen Ligo entwickelten Satz aus 100 Aufgaben. Statt Lehrbuchfragen erhalten Agenten Rohmaterial aus dem Alltag eines Nasslabors.
Hundert Aufgaben prüfen das Lesen eines Experiments
Die Aufgaben decken fünf Bereiche ab, von Proteinmethoden über Mikroskopie und Zytometrie bis zu Nukleinsäuren und Klonierung. Ein Modell muss Gelbilder, Koloniefotos, Geräteexporte, Protokolle oder Videos auswerten und daraus eine Schlussfolgerung, Messung oder Empfehlung ableiten.
Die Autoren verwenden Rubriken mit Teilpunkten. Neunzehn Aufgaben prüfen außerdem, ob ein Agent erkennt, dass die Daten keine Aussage zulassen. OpenAI zufolge erzielte GPT-6 Astra bei der höchsten gemeinsamen Reasoning-Einstellung im Mittel 66,7 %. GPT-5.6 Sol kam auf 43,8 %.
Im Labor ist begründetes Zögern oft wertvoller als Selbstsicherheit
Der praktische Wert liegt in der Arbeit mit unaufgeräumten Daten. Forschende brauchen häufig Hilfe bei der Frage, ob eine Kontrolle versagt hat, wie viele Kolonien tatsächlich gewachsen sind oder ob eine Messung überhaupt eine Aussage trägt. Eine weitere biologische Definition hilft dabei wenig.
Das sollte auch die Auswahl von AI-Systemen verändern. Forschungsteams benötigen Tests mit ihren eigenen Geräten, Protokollen und Fehlermustern statt nur einer allgemeinen Wissenschaftsrangliste. BioBasicsBench liefert dafür ein besseres Muster, ersetzt aber keine lokale Validierung.
Herstellerwerte belegen keine sichere Autonomie
OpenAI veröffentlichte Ergebnisse seiner eigenen Modelle. Die Ankündigung enthält weder einen öffentlich nutzbaren Aufgabensatz samt Bewertungscode noch eine unabhängige Reproduktion. Auch eine gemessene Vergleichsleistung menschlicher Fachleute fehlt. Daher lassen sich 66,7 % nicht in einen sicher automatisierbaren Anteil der Laborarbeit übersetzen.
Hundert Aufgaben aus fünf Bereichen sind eine nützliche Stichprobe, bilden aber nur einen kleinen Teil der Praxis ab. Ein Mittelwert kann zudem einen Fehler verbergen, der in der Rubrik wenig kostet und im Labor eine ganze Arbeitswoche zunichtemacht.
Öffentliche Aufgaben und Blindtests müssen die Übertragbarkeit zeigen
Als Nächstes sollten externe Teams dieselben Aufgaben mit Konkurrenzmodellen und erfahrenem Laborpersonal ausführen können. Noch aussagekräftiger wären Blindtests mit Daten anderer Geräte, Protokolle und Standorte.
Für den Einsatz zählt vor allem die Fehlerverteilung. Labore müssen wissen, wann ein Agent ein Bild falsch liest, eine defekte Kontrolle übersieht oder aus schwachen Daten eine Aussage erfindet. Eine einzelne Prozentzahl bietet diese Absicherung nicht.
Liliths Urteil
Ein Agent am Mikroskop kann Stunden sparen, doch eine übersehene fehlerhafte Kontrolle schickt Forschende an den Anfang des Experiments zurück. 66,7 % sind eine Einladung zum Blindtest, keine Erlaubnis für eine unbeaufsichtigte Schicht.