CodeRabbit deklaruje 20 razy większy wynik, lecz nie pokazuje miary

CodeRabbit podaje w studium przypadku OpenAI, że z Codexem dostarcza około 20 razy więcej oprogramowania niż 6 miesięcy temu, bez zwiększania liczby inżynierów. Współzałożyciel Harjot Gill szacuje, że w ciągu 30 dni przed rozmową wysłał od 2 500 do 3 000 pull requestów.

Codex zwiększył produkcję, a CodeRabbit przejął kontrolę

Zespół używa większej liczby agentów do implementacji, obsługi incydentów i wsparcia. CodeRabbit może automatycznie sprawdzać oraz wdrażać zmiany niskiego ryzyka, a wrażliwe decyzje pozostają po stronie ludzi. GPT 6 Luna obsługuje tańsze zadania cząstkowe, a GPT 6 Astra planowanie.

Wąskie gardło przesunęło się z pisania na decyzje

Więcej wygenerowanego kodu oznacza więcej zmian do zrozumienia, przetestowania i zatwierdzenia. CodeRabbit pokazuje więc zalety Codexa, a jednocześnie sprzedaje warstwę kontroli potrzebną do obsługi jego wyników. Ludzie mniej piszą, za to częściej decydują, co może przejść dalej.

Mnożnik 20 razy nie mierzy wartości dla użytkownika

OpenAI ani CodeRabbit nie podały bazowej liczby wydań, wielkości zmian, poziomu błędów ani wyników klientów. To deklaracja firmy, której nie można przenieść na inne zespoły. Tysiące małych pull requestów nie oznaczają też 20 razy większej wartości.

O jakości powiedzą poprawki i udział człowieka

Potrzebne są dane o odsetku automatycznie scalonych zmian, regresjach po wdrożeniu, fałszywych alarmach i czasie review. Dopiero one pokażą, czy agenci skrócili drogę do gotowego produktu, czy tylko ustawili dłuższą kolejkę do kontroli.

Werdykt Lilith

Agenci wysypali na taśmę 3 000 pull requestów. O wyniku zdecyduje człowiek na końcu linii, który oceni, ile z nich naprawdę trafia do pudełka dla klienta.