BioBasicsBench sprawdza agentów na surowych danych z laboratorium. Astra zdobywa 66,7%

OpenAI przedstawiło BioBasicsBench, zestaw 100 zadań przygotowany z firmą biotechnologiczną Ligo. Zamiast pytań podręcznikowych agenci dostają surowe materiały z codziennej pracy w mokrym laboratorium.

Sto zadań sprawdza odczyt eksperymentu, a nie pamięć do definicji

Zadania obejmują pięć obszarów, od metod białkowych przez mikroskopię i cytometrię po kwasy nukleinowe oraz klonowanie. Model analizuje obrazy żeli, zdjęcia kolonii, eksporty z aparatury, protokoły lub nagrania, a następnie podaje wniosek, pomiar albo zalecany kolejny krok.

Autorzy stworzyli rubryki przyznające także punkty częściowe. Dziewiętnaście zadań bada, czy agent potrafi uznać dowody za niewystarczające. Według OpenAI GPT-6 Astra przy najwyższym wspólnym ustawieniu reasoning zdobyła średnio 66,7% punktów, a GPT-5.6 Sol 43,8%.

W laboratorium rozsądna wątpliwość bywa cenniejsza od pewnej odpowiedzi

Praktyczna wartość benchmarku tkwi w pracy z nieuporządkowanymi danymi. Naukowiec częściej potrzebuje szybkiej oceny, czy kontrola zawiodła, ile kolonii rzeczywiście wyrosło i czy pomiar pozwala wyciągnąć wniosek, niż kolejnej definicji z biologii.

Tak powinien też wyglądać zakup AI do badań. Zespół potrzebuje testów opartych na własnej aparaturze, protokołach i typowych błędach, a nie wyłącznie ogólnego rankingu naukowego. BioBasicsBench daje lepszy wzór takiej ewaluacji, choć jego tabela nie zastąpi walidacji na miejscu.

Wynik producenta nie wystarcza do powierzenia agentowi samodzielnej pracy

OpenAI opublikowało wyniki własnych modeli. W ogłoszeniu nie udostępniono publicznie całego zestawu zadań i kodu oceniającego, a niezależny zespół nie odtworzył rezultatów. Brakuje też zmierzonego poziomu naukowców, więc 66,7% nie oznacza części pracy laboratoryjnej, którą można bezpiecznie zautomatyzować.

Sto zadań z pięciu obszarów to użyteczna próbka, lecz wciąż niewielki wycinek praktyki. Średnia może ukryć błąd, który kosztuje mało punktów, ale w prawdziwym laboratorium niszczy tydzień pracy.

Publiczny zestaw i ślepe próby pokażą, czy wynik działa poza OpenAI

Kolejnym ważnym sygnałem będzie możliwość uruchomienia tych samych zadań przez zewnętrzne zespoły na konkurencyjnych modelach i z udziałem doświadczonych laborantów. Jeszcze więcej powiedzą ślepe testy na danych z innych urządzeń, protokołów i placówek.

O wdrożeniu zdecyduje rozkład błędów. Laboratorium musi wiedzieć, kiedy agent źle odczytuje obraz, pomija wadliwą kontrolę lub dopowiada wniosek mimo słabych danych. Jedna wartość procentowa nie zapewni takiej ochrony.

Werdykt Lilith

Agent przy mikroskopie może oszczędzić kilka godzin, lecz jedna przeoczona wadliwa próba kontrolna cofnie naukowca do początku eksperymentu. Wynik 66,7% zaprasza do ślepego testu, a nie do samodzielnego dyżuru.