BioBasicsBench poslal agenty nad surová data z laboratoře. Astra získala 66,7 % bodů

OpenAI představila BioBasicsBench, soubor 100 úloh vytvořený s biotechnologickou firmou Ligo. Místo otázek z učebnice dostávají agenti surové podklady z běžné práce v mokré laboratoři.

Sto úloh měří čtení experimentu, ne znalost pouček

Úlohy pokrývají pět oblastí od proteinových metod přes mikroskopii a cytometrii až po nukleové kyseliny a klonování. Model musí pracovat s gelovými snímky, fotografiemi kolonií, daty z přístrojů, protokoly nebo videem a vrátit závěr, měření či doporučený další krok.

Autoři připravili hodnoticí rubriky, které dávají i částečný kredit. Devatenáct úloh navíc zkouší, zda agent pozná, že dostupné důkazy k závěru nestačí. OpenAI uvádí, že GPT-6 Astra při nejvyšším společném nastavení reasoning získala v průměru 66,7 % bodů. GPT-5.6 Sol dosáhl 43,8 %.

Pro laboratoře je cennější správné zaváhání než sebejistá odpověď

Praktická hodnota benchmarku leží v práci s neuklizenými podklady. Vědec často nepotřebuje další biologickou definici, ale rychle zjistit, zda kontrola selhala, kolik kolonií skutečně vyrostlo nebo zda měření vůbec dovoluje něco tvrdit.

To mění i způsob nákupu AI pro výzkum. Tým by neměl vybírat podle obecného science benchmarku, nýbrž podle chyb na vlastních typech přístrojů a protokolů. BioBasicsBench nabízí použitelnější vzor evaluace, i když jeho tabulka sama žádnou laboratoř nenahradí.

Skóre pochází od výrobce a chybí srovnání s člověkem

Výsledky zveřejnila OpenAI na vlastních modelech. Úlohy a hodnoticí kód nejsou v oznámení veřejně zpřístupněné a nezávislý tým skóre nereprodukoval. Benchmark také nemá změřený základ lidských vědců, takže 66,7 % nelze přeložit jako podíl práce, který může laboratoř bezpečně automatizovat.

Sto úloh napříč pěti oblastmi je užitečný vzorek, ale stále malý výřez laboratorní praxe. Průměr navíc může schovat chybu, která je v jedné úloze drobná a v reálném experimentu znehodnotí celý týden práce.

Veřejná sada a slepé testy ukážou, zda výsledek přežije cizí laboratoř

Další důležitý signál bude možnost spustit stejné úlohy mimo OpenAI a porovnat také konkurenční modely a zkušené laboranty. Ještě silnější budou slepé testy na datech z jiných přístrojů, protokolů a pracovišť.

Pro nasazení rozhodne hlavně rozpad chyb. Laboratoř potřebuje vědět, kdy agent špatně přečte obraz, kdy přehlédne vadnou kontrolu a kdy si domyslí závěr z nedostatečných dat. Jedno souhrnné procento takovou pojistku nenahradí.

Lilithin verdikt

Agent u mikroskopu může ušetřit hodiny, ale jeden přehlédnutý vadný kontrolní vzorek pošle vědce zpět na začátek experimentu. Skóre 66,7 % je pozvánka ke slepému testu, ne propustka k samostatné směně.