Codex już nie tylko pisze. Teraz potrafi udowodnić, że to działa

Devin dostaje nowy model prosto do testowania

Cognition, firma stojąca za autonomicznym inżynierem Devinem, ogłosiła wdrożenie nowego modelu OpenAI o nazwie GPT-6 Astra. Astra ma osiągać wyniki podobne do Fable 5, ale przy 64% niższych kosztach. Na wewnętrznym benchmarku Cognition model ustanowił nowy rekord generuje bardziej kompleksowe testy, czystsze raporty i lepsze dowody wideo.

Zespoły widzą zmianę w tym, kto ponosi ciężar przeglądu

Do tej pory problemem z agentami AI było to, że nawet jeśli napisali działający kod, człowiek musiał go dokładnie przejrzeć. Im więcej kodu wygenerował agent, tym więcej pracy miał starszy inżynier przy przeglądzie. Przejście od „pisania kodu” do „udowadniania, że kod działa” to krytyczny krok w skalowaniu agentów. Oznacza to, że Devin nie będzie już tylko wypluwał PR-ów, ale poprze je dowodami, które inżynier może łatwo sprawdzić.

Testy w demo to nie testy w produkcyjnej dżungli

Jest różnica między testowaniem kodu przez agenta w izolowanym środowisku a pisaniem testu dla istniejącego monolitu z dziesiątkami nieudokumentowanych zależności. Astra może być świetna w benchmarku, ale jej zdolność do realnego zwiększenia pokrycia w starszych projektach nie została jeszcze udowodniona. Niski koszt za token to super sprawa, ale jeśli agent spędzi godziny na debugowaniu złego testu, koszty wzrosną.

Wskaźnik przyjętych dowodów zdecyduje

Będziemy obserwować, jak zmienia się stosunek bezrefleksyjnie scalanych pull requestów do tych, które człowiek odsyła agentowi do poprawy. Jeśli Astra naprawdę skróci czas spędzany na przeglądzie, będzie to jasny sygnał, że era zwykłego autouzupełniania definitywnie minęła.

Werdykt Lilith

Łatwo jest wygenerować testy, trudne jest wygenerowanie takich, którym człowiek zaufa bez czytania ich od deski do deski.