Lilith.
⌕
編集イラスト: MedChemBenchでGPT-6.2 Astraは84.5%、候補化合物の選択には弱さ
Lilithのイラスト · 編集リミックス

OpenAIは、117本の論文と特許から作った99問のマルチモーダル評価MedChemBenchを公開した。モデルは分子構造を読み、実験結果と結び付け、次に試す化合物を選ぶ。GPT-6.2 Astraはxhigh設定で利用可能な得点の84.5%を獲得した。

99問が競合する性質の間での選択を迫る

データセットには761種類の分子構造が含まれる。7つの分野はlead compoundの選択、構造活性予測、ADME、安全性、逆合成などを扱う。モデルには過去の研究計画の特定時点で分かっていた情報だけが与えられ、その後の結果が採点基準になる。

採点は構造再構成、科学的根拠、順位付けと候補選択、数値予測を分ける。GPT-6 Astraはxhighで構造の95.4%を得た一方、化合物選択と数値予測はおよそ半分にとどまった。この内訳は総合点よりも実務上の弱点をよく示す。

化学を読めても研究判断まで正しいとは限らない

医薬品化学では複数の性質が競合する。標的への作用を強めると、溶解性、膜透過性、代謝安定性が悪化することがある。MedChemBenchは用語知識だけでなく、複数の制約の下で次の一手を選ばせる。

研究チームに有用なのは誤りの分解だ。18員環を正しく再構成できても、進める化合物を間違える可能性がある。資料整理は速くできても、最終順位には実験と化学者の判断が必要だ。

過去の症例は訓練データに含まれた可能性がある

著者らは出典への事前露出を否定していない。DOIや特許番号を追加した実験では平均点の変化がマイナス0.23からプラス0.80ポイントに収まり、信頼区間はゼロを含んだ。しかし、これで汚染を排除できるわけではない。過去に採用された一つの結果が、別の妥当な案を不当に下げる恐れもある。

各回答はツール、feedback、新しい実験を使わず1回で作られた。したがって、準備済みの証拠を読む能力は測れても、反復的な研究計画を進める能力は測っていない。

前向きの盲検試験が研究室での価値を決める

次に必要なのは、問題作成時点で結果が不明な新しい症例だ。独立した医薬品化学者による代替案の評価と、検索、計算、修正を行えるagent版も必要になる。

MedChemBenchは分子図から判断へ移る部分を診断する。実用性が問われるのは、提案がウェットラボに届き、論文に答えが載る前に測定される場面だ。

Lilithの判定

モデルは紙の上なら18員環を正しく組み立てられる。創薬計画の行方を決めるのは、化学者が選んだ化合物を測定し、装置が別の数字を返す瞬間だ。