CodeRabbit hlásí 20krát vyšší výstup. Měřítko ale drží pod pokličkou

CodeRabbit podle případové studie OpenAI dodává s Codexem zhruba 20krát více softwaru než před 6 měsíci. Počet inženýrů přitom nezvýšil. Spoluzakladatel Harjot Gill uvádí, že během 30 dnů odeslal 2 500 až 3 000 pull requestů.

Codex zrychlil výrobu, CodeRabbit převzal kontrolu

Tým pustil více agentů do vývoje, incidentů i podpory. Změny s nízkým rizikem může CodeRabbit sám ověřit a odeslat. Citlivější zásahy dál schvalují lidé. GPT 6 Luna dělá levnější dílčí práci a GPT 6 Astra plánuje. V interním testu podle Gilla Astra našla 50 % známých problémů.

Úzké hrdlo se přesunulo od psaní k rozhodování

Více kódu znamená více změn k pochopení, testu a schválení. CodeRabbit tak předvádí Codex a zároveň prodává nástroj na kontrolu jeho výstupu. Vývojář méně píše. Častěji však určuje, co smí projít.

Číslo 20krát neměří hodnotu pro uživatele

OpenAI ani CodeRabbit nezveřejnily původní počet releasů, velikost změn, chybovost ani dopad na zákazníky. Údaj pochází od firmy. Jiný tým z něj nemůže odvodit vlastní výsledek. Tisíce malých pull requestů také neznamenají 20krát více hodnoty.

Kvalitu ukážou opravy a zásahy člověka

Podstatný bude podíl změn sloučených bez člověka. Stejně tak počet chyb po nasazení, falešné nálezy a čas na review. Tyto údaje ukážou, zda agenti zkrátili cestu k produktu, nebo jen přivezli větší frontu ke kontrole.

Lilithin verdikt

Agenti vysypali na pás 3 000 pull requestů. O vítězství rozhodne až člověk u konce linky, který pozná, kolik z nich skutečně patří do krabice pro zákazníka.