BioBasicsBench měří práci s mokrou laboratoří. Nejlepší model získal 66,7 % bodů

OpenAI a biotechnologická firma Ligo představily BioBasicsBench, soubor 100 úloh z běžné práce v mokré laboratoři. Nejlepší testovaný model GPT-6 Astra získal 66,7 % dostupných bodů. Ukázané chyby ale mohou poslat vědce ke špatnému vzorku nebo zkreslit výpočet účinnosti.

Sto úloh začíná u surových dat, ne u obrázku z publikace

Benchmark pokrývá pět oblastí: proteinové metody, zobrazování a cytometrii, kvantifikaci a assay, metody nukleových kyselin a molekulární klonování. Vstupy zahrnují gely, kolonie na miskách, mikroskopii, sekvenační reads, exporty z přístrojů i video protokolu.

Každou úlohu napsali vědci z vlastních experimentů a doplnili bodovací rubric. Následovala kontrola jiným vědcem z Ligo, externím specialistou s Ph.D. a závěrečná interní revize. Sedm modelů v 37 kombinacích modelu a reasoning effort řešilo každou úlohu pětkrát, celkem vzniklo 18 500 odpovědí.

Benchmark odměňuje i přiznání, že data nestačí

GPT-6 Astra při nastavení xhigh získal průměrně 66,7 % bodů, s 95 % intervalem spolehlivosti 60,3 až 73,1 %. GPT-5.6 Sol dosáhl 43,8 %. Skóre nezahrnuje jen konečné číslo. Rubric hodnotí měření, vysvětlení, práci s kontrolami i schopnost odmítnout závěr, který data nepodporují.

To je důležitější než další test znalostí biologie. V laboratoři bývá problémem rozmazaný obraz, špatná kontrola nebo několik navzájem neslučitelných signálů. Agent užitečný pro vědce musí poznat i okamžik, kdy má přestat počítat a požádat o nový experiment.

Dvě třetiny bodů stále dovolují drahé chyby

OpenAI ukazuje případy, kdy Astra správně poznala překryv fluorescenčních signálů nebo chybně zvolenou kontrolní misku. Současně v úloze s colony PCR vybrala jiné kolonie než referenční odpověď. V dalším příkladu nadhodnotila počet kolonií asi o 12 %, což by při stejném objemu a ředění stejně nadhodnotilo účinnost transformace.

Výsledky pocházejí od OpenAI a porovnávají jen modely OpenAI. Veřejná stránka také neodkazuje na dataset, kód ani paper, takže nezávislé týmy zatím nemohou ověřit výběr úloh a bodování.

O hodnotě rozhodne otevření dat a test v dalších laboratořích

První signál bude zveřejnění úloh, rubrik a anonymizovaných surových dat. Bez nich lze sledovat jen skóre dodavatele. Druhý bude výkon v laboratořích mimo Ligo, jejichž přístroje, protokoly a typické chyby budou jiné.

Pro nasazení bude důležitější přesnost v rizikových podskupinách než průměr 66,7 %. Laboratoř potřebuje vědět, zda agent spolehlivě kontroluje kontroly, kalibraci a nejistotu právě tam, kde chybná odpověď mění další experiment.

Lilithin verdikt

Agent, který trefí dvě třetiny bodů, může dobře třídit obrázky. K pipetě ho pusťte teprve tehdy, až pozná špatnou kontrolu dřív než vědec, který za ni zaplatí celý pracovní týden.