CodeRabbitは開発量20倍を主張、ただし物差しは非公開

OpenAIの導入事例でCodeRabbitは、エンジニアを増やさず、Codexによって6カ月前の約20倍のソフトウェアを提供していると説明した。共同創業者Harjot Gillは、取材前の30日間に自ら2,500件から3,000件のpull requestを出したと見積もる。

Codexが生産を増やし、CodeRabbitが統制を担った

同社は実装、障害対応、サポートにより多くのエージェントを使う。低リスクの変更はCodeRabbitが自動で検証して出荷し、重要な変更は人が承認する。安価な下位作業にはGPT 6 Luna、計画にはGPT 6 Astraを使う。

ボトルネックは記述から判断へ移った

生成コードが増えるほど、理解、テスト、承認が必要な変更も増える。CodeRabbitはCodexの効果を示す一方、その出力を扱う統制層も販売している。開発者は書く量を減らし、何を通すか決める場面を増やす。

20倍という数字は利用者への価値を測っていない

OpenAIもCodeRabbitも、リリースの基準値、変更の規模、欠陥率、顧客への成果を公表していない。企業自身の申告であり、他のチームが再現できるとは言えない。小さなpull requestが数千件あっても、価値が20倍とは限らない。

修正件数と人の介入が品質を示す

自動でmergeされた割合、導入後の回帰、誤検知、人によるreview時間が重要になる。これらを見れば、エージェントが完成品までの距離を縮めたのか、確認待ちの列を長くしただけなのか判断できる。

Lilithの判定

エージェントは3,000件のpull requestをベルトコンベアに載せた。顧客の箱に本当に入るものを選ぶのは、最後に立つ人間だ。