Lilith.
⌕
編集イラスト: agentは研究タスクの46%を完了するが、基盤構築ではつまずく
Lilithのイラスト · 編集リミックス

OpenAIは、coding agentsが人間なら2時間から4時間かかる研究タスクの46%を介入なしで完了したとする第2回の内部測定を公開した。3月は23%だった。目を引く数字だが、報告書は能力の境界が作業ごとに大きく異なることも示している。

数時間のタスクの成功率は7か月で倍増した

4時間から8時間と見積もられたタスクでは、介入なしの成功率が13%から35%へ上昇した。研究者1人あたり1日のagent workdayは0.5日から5.7日に増えた。OpenAIはagentの実行8時間を1日と数えている。

利用は高額でもある。APIの定価換算で、研究者1人あたりの1日利用額の中央値は10月に2,400 USDとなり、9月から62%増えた。10月中旬には、対象研究者の3分の2超が1日に少なくとも4つのagentを同時稼働させていた。

監視は進んだが、基盤を壊し得る作業は遅れている

作業ごとの差は全体平均より大きい。介入なしの成功率は、training runの監視で79%、技術的な質問への回答で72%だった。一方、training runの開始は35%、evalsとreinforcement learning環境の構築は29%、inferenceとserving基盤のコード作成は25%にとどまった。

研究責任者には、委任範囲を決める実用的な地図になる。agentはログを調べ、異常を見つけ、分析を準備できる。computeを消費する変更や本番基盤への変更では、人による確認は高くても妥当だ。

自社製品を自社の研究者で測った数字である

独立したbenchmarkではない。OpenAIは自社の研究者、内部モデル、workflowを測っており、いずれも期間中に変化した。同社も、同じ時間区分の中で委任するタスクが変わった可能性を認めている。伸びにはモデルの改善と使い方の改善が混ざる。

変更したコード行や実験の数が増えても、研究の質が上がったとは限らない。報告書の聞き取りでは、質の低いpull request、無駄な手順、誤った分析前提も挙がる。優先順位を決め、追うべきアイデアを選ぶのは今も人だ。

開いたsessionの数より研究成果が判断材料になる

OpenAIは、能力研究と安全研究の加速に差があるかを今後も追う。重要なのはagent利用量だけでなく、開発時間や新しいモデルの質との関係だ。

他の研究所による比較可能な測定と、agent能力の向上をタスク選択の改善から分ける手法も必要になる。5.7日の稼働が結果への近道なのか、画面を埋めただけなのかは、そこで見えてくる。

Lilithの判定

研究者は1日で5.7日分のagent作業を受け取るが、inferenceコードの成功率は4分の1にすぎない。工場の速度は上がったものの、最も危険なレバーはまだ人が握っている。