Lilith.
⌕
編集イラスト: Revolut、Codexで開発時間を30から60%短縮と報告。ただし測定は社内データ
Lilithのイラスト · 編集リミックス

RevolutはOpenAIの顧客事例で、Codexにより開発タスクの開始から機能のマージまでの時間を30から60%短縮したと説明した。同社は不審な取引の調査にもOpenAIのモデルを使う。ただし、公表値は企業自身の報告であり、独立したbenchmarkではない。

Codexが実装を担い、開発者は責任を手放さなかった

Senior Platform Engineerは、社内向けcode reviewサービスを機能ごとに分け、複数のagentに実装を割り当てたという。本人はシステム設計、計画、成果物の確認に集中した。Revolutの数値は、コードを書く時間だけでなく、タスク開始からmergeまでを対象としている。

Codexは、ある大規模なsecurity code reviewでも1から2日を節約したとされる。また、約7年分のdesign system文書を、AIが利用できるcontextへ1日で変換したという。いずれも社内の個別事例であり、対照群を置いた公開研究ではない。

大きな変化は入力前の設計と生成後の確認にある

実務上の価値は、コード生成の速さだけではない。Revolutは経験豊富な開発者の時間を、システム設計、タスク分割、reviewへ移している。承認する人が変更内容を十分に理解していれば、チームの処理能力を高められる。

FinCrime agentでも同じ境界が置かれている。agentは情報を調べ、社内ルールを適用し、調査の定義済み部分を処理する。人は元の記録を確認し、説明を評価して、対応を承認する。規制対象の金融企業では、生成した行数よりこの責任分界の方が重要だ。

目立つ短縮率には公開された測定方法と誤り率がない

OpenAIはこの記事を顧客事例として公開した。サンプル数、比較期間、タスク別の結果、ほかのツールや工程変更の影響は示していない。30から60%という幅を、別の開発チームの期待値として使うことはできない。

FinCrimeの説明にも、精度、false positive、見逃し率がない。調査員を同じ割合で増やさず、より多くの取引を処理できるという主張は処理能力を示すが、判断の質までは証明しない。

監査、差し戻し、調査品質が効果を決める

次に必要なのは運用データだ。Codexの変更が何件差し戻され、reviewにどれだけ時間がかかり、本番環境の不具合率がどう変わるか。そこで初めて、作業が減ったのか、確認工程へ移っただけなのかが分かる。

金融犯罪対策では、精度、escalation、各判断のaudit trailが重要になる。Revolutの役割分担は妥当だが、現時点ではミスの代償よりストップウォッチの方がよく見える。

Lilithの判定

Revolutは30から60%速く進むストップウォッチを見せた。欠陥と手戻りの記録が隣に並ぶまでは、レースが短くなったのか、ゴールがreview担当者の机へ移っただけなのか判断できない。