BioBasicsBenchがwet-lab分析を測定、最高モデルは66.7 %

OpenAIと酵素設計企業Ligoは、日常的なwet-lab作業から100課題を集めたBioBasicsBenchを発表した。最高のGPT-6 Astraは66.7 %を獲得した。一方、公開された失敗は、科学者を誤った試料へ導く可能性を示す。

100課題は論文用の図ではなく生の証拠から始まる

benchmarkはprotein methods、画像とcytometry、定量assay、核酸、molecular cloningの5領域を扱う。gel、colony plate、顕微鏡、sequencing reads、機器のexport、手順動画が入力になる。

各課題は別のLigo科学者、外部のPh.D. wet-lab科学者、内部の最終担当者が確認した。7モデル、37通りのmodelとreasoning effortの組み合わせが各課題を5回解き、合計18,500回答となった。

証拠不足を認めることも得点になる

xhigh設定のGPT-6 Astraは平均66.7 %、95 %信頼区間は60.3から73.1 %だった。GPT-5.6 Solは43.8 %である。rubricは最終数値だけでなく、測定、理由、control、証拠のない結論を拒否する能力も評価する。

実験室には不鮮明な画像、無効なcontrol、矛盾する観察がある。役立つagentは計算を止め、追加実験を求める場面を判断しなければならない。

3分の2の得点でも高価な誤りは残る

Astraは蛍光signalの重なりや無効なcontrol plateを見抜いた。一方、colony PCR課題では誤ったcolonyを選んだ。別の例ではcolony数を約12 %過大評価し、体積と希釈率が同じなら形質転換効率も同じ割合で膨らむ。

結果はOpenAI自身が報告し、比較対象もOpenAIモデルだけである。公開ページにはdataset、code、paperへのlinkがなく、独立チームは課題選択と採点をまだ監査できない。

公開データと他の研究室での試験が価値を決める

まず課題、rubric、匿名化した生データの公開が必要だ。次にLigo以外の研究室で、異なる機器、手順、失敗パターンを試す必要がある。

導入判断では平均66.7 %より、危険な下位群での精度が重要になる。誤りが次の実験を変える場面で、controlと不確実性を確認できる証拠が要る。

Lilithの判定

3分の2を取るagentは画像整理には使える。1週間を失う科学者より先に悪いcontrolを見抜くまでは、pipetteから離しておくべきだ。