BioBasicsBenchは生の実験データでエージェントを評価、Astraは66.7％

OpenAIは、バイオテクノロジー企業Ligoと共同で作成した100問の評価セットBioBasicsBenchを発表した。教科書的な知識問題ではなく、ウェットラボの日常業務で生じる生の資料をエージェントに与える。

100問が測るのは知識量ではなく実験を読む力だ

対象はタンパク質手法、顕微鏡とサイトメトリー、定量とアッセイ、核酸、クローニングの5領域にまたがる。モデルはゲル画像、コロニー写真、装置の出力、プロトコル、動画を解析し、結論や測定値、次に取るべき行動を返す。

採点基準は部分点にも対応する。さらに19問では、証拠不足で結論を出せないと判断できるかを試す。OpenAIによると、共通の最高reasoning設定でGPT-6 Astraは平均66.7％、GPT-5.6 Solは43.8％を獲得した。

実験室では自信より根拠ある保留が役に立つ

実用上の価値は、整理されていない証拠を扱う点にある。研究者が必要とするのは、生物学用語の説明よりも、対照実験が失敗したか、コロニーがいくつ増えたか、その測定から結論を出せるかという判断だ。

研究向けAIの選び方も変わる。一般的な科学benchmarkだけでなく、自分たちの装置、プロトコル、失敗パターンに合わせた評価が必要になる。BioBasicsBenchはその設計例として有用だが、順位表だけで現場検証を代替することはできない。

メーカー自身のスコアだけでは安全な自律運用を証明できない

OpenAIが公表したのは自社モデルの結果だ。発表時点で全問題と採点コードは公開されておらず、独立したチームによる再現もない。人間の研究者との比較値もないため、66.7％を安全に自動化できる作業割合と解釈することはできない。

5領域100問は有用なサンプルだが、実験業務全体から見れば狭い。採点上は小さな減点でも、実験室では1週間分の作業を無駄にする誤りが平均値に埋もれる可能性もある。

公開評価とブラインド試験が別の実験室でも通用するかを決める

次に必要なのは、外部チームが同じ問題を競合モデルや熟練した実験担当者で試せることだ。異なる装置、プロトコル、施設のデータを使ったブラインド試験なら、さらに強い検証になる。

導入判断ではエラーの内訳が重要になる。画像を読み違えたのか、壊れた対照を見逃したのか、弱い証拠から結論を作ったのかを把握する必要がある。単一の百分率では、その安全確認を担えない。

Lilithの判定

顕微鏡の前にいるエージェントは数時間を節約できるが、壊れた対照を1つ見逃せば研究者は実験の最初に戻る。66.7％はブラインド試験への招待状であり、無人運転の許可証ではない。