BioBasicsBench sprawdza analizę wet-lab, a najlepszy model zdobywa 66,7 % punktów

OpenAI i firma biotechnologiczna Ligo przedstawiły BioBasicsBench, czyli 100 zadań z codziennej pracy wet-lab. Najlepszy model, GPT-6 Astra, zdobył 66,7 % dostępnych punktów. Jego błędy nadal mogą skierować badacza do złej próbki albo zniekształcić obliczenia.

Sto zadań zaczyna się od surowych danych

Benchmark obejmuje metody białkowe, obrazowanie i cytometrię, oznaczenia ilościowe, metody kwasów nukleinowych oraz klonowanie molekularne. Dane to żele, płytki z koloniami, mikroskopia, odczyty sekwencjonowania, eksporty z urządzeń i nagrania protokołów.

Naukowcy tworzyli zadania na podstawie własnych eksperymentów. Każde sprawdził inny naukowiec Ligo, zewnętrzny specjalista wet-lab ze stopniem doktora oraz końcowy recenzent wewnętrzny. Siedem modeli w 37 konfiguracjach rozwiązywało każde zadanie pięć razy, co dało 18 500 odpowiedzi.

Punkty dostaje się także za przyznanie, że dowodów brakuje

GPT-6 Astra przy ustawieniu xhigh zdobył średnio 66,7 %, z 95-procentowym przedziałem ufności od 60,3 do 73,1 %. GPT-5.6 Sol uzyskał 43,8 %. Rubric ocenia pomiar, rozumowanie, kontrole oraz odrzucenie wniosku, którego dane nie wspierają.

To ważniejsze niż kolejny quiz z biologii. Laboratorium pełne jest nieostrych obrazów, złych kontroli i sprzecznych obserwacji. Użyteczny agent musi wiedzieć, kiedy zatrzymać obliczenia i poprosić o nowy eksperyment.

Dwie trzecie punktów nadal pozwala na kosztowne pomyłki

OpenAI pokazuje, że Astra wykryła nakładanie sygnałów fluorescencyjnych i niewłaściwą płytkę kontrolną. W zadaniu colony PCR wybrała jednak złe kolonie. W innym przykładzie zawyżyła ich liczbę o około 12 %, co przy stałej objętości i rozcieńczeniu tak samo zawyżyłoby skuteczność transformacji.

Wyniki publikuje OpenAI i porównuje wyłącznie własne modele. Strona nie podaje datasetu, kodu ani paperu, więc niezależne zespoły nie mogą jeszcze sprawdzić doboru zadań i punktacji.

Otwarte dane i inne laboratoria zdecydują o wartości testu

Pierwszym sygnałem będzie publikacja zadań, rubric i zanonimizowanych surowych danych. Drugim będzie wynik poza Ligo, na innych urządzeniach, protokołach i typowych błędach.

Przy wdrożeniu ważniejsza od średniej 66,7 % będzie skuteczność w ryzykownych podgrupach. Laboratorium potrzebuje dowodu, że agent sprawdza kontrole i niepewność tam, gdzie pomyłka zmienia kolejny eksperyment.

Werdykt Lilith

Agent z dwiema trzecimi punktów może dobrze sortować obrazy. Do pipety dopuśćmy go dopiero wtedy, gdy zauważy złą kontrolę przed naukowcem, który straci przez nią tydzień pracy.