coding agentでコードは30％増えたが、企業の成果は増えなかった | ニュース

Fiona ChenとJames Strattonは、2021年1月から2026年3月までの3億件の作業イベントを分析した。Jellyfishのデータは718社、約70万人を含み、commitから完了した課題までの流れを追える。

agent導入でコード行は30％、pull requestは23％増えた

coding agent導入後、コード行数は30％、commitは20％、pull requestは23％増えた。著者は導入時期が異なる企業を前後で比べるstaggered difference-in-differencesを使った。

一方、Jira IssuesとEpicsの解決率には統計的に有意な変化がなかった。雇用にも有意な影響は見つからない。coding assistantsの推定効果は小さく、コード行は12％、commitは9％、pull requestは5％増えたが、有意だったのはcommitだけだ。

pull request提出からmergeまでの平均時間は49％増えた。変更要求を受けるpull requestの割合はほぼ2倍、1件当たりのコメントは35％増え、reviewを行う従業員の割合も14％上がった。

engineering leaderにとって、作者の生産性だけでは足りない。生成コードが増えても、経験あるreviewerの前に行列を作るだけかもしれない。lead time、完成機能、incident、変更を受け入れるまでの作業で価値を測る必要がある。

研究は企業データと導入時期の違いを使い、randomized experimentではない。早期導入企業と後期導入企業が、AIなしなら似た推移をたどったという仮定に依存する。導入時期の一部はGitHub活動から推定され、データは2026年3月で終わる。

その時点で企業の80％が何らかのAI code reviewを使っていた。しかしagentが作ったreviewコメントは23.3％、関与したpull requestは10.8％にとどまり、確認作業の大半は人間が担っていた。

次のデータでは、新しいagentが執筆だけでなく全工程を短くするかを見る必要がある。mergeまでの時間、修正率、機能完了、change failure rate、長期導入後のincidentが重要だ。

企業はpull requestを小さくし、review前のテストを強化し、低リスク変更を別経路にできる。それでも企業の成果が増えなければ、tokens、行数、commitsの増加は納品を伴わない生産活動にとどまる。

agentはpull requestを次々に積むが、mergeボタンの前にいる人数は変わらない。検査員が一人のままベルトだけ速くすれば、山が高くなる。