Codex schreibt nicht mehr nur. Er kann beweisen, dass es funktioniert

Devin bekommt ein neues Modell direkt zum Testen

Cognition, das Unternehmen hinter dem autonomen Ingenieur Devin, hat den Einsatz von OpenAIs neuem Modell GPT-6 Astra angekündigt. Astra erreicht Berichten zufolge ähnliche Ergebnisse wie Fable 5, jedoch bei 64 % geringeren Kosten. Im internen Benchmark von Cognition stellte das Modell einen neuen Rekord auf es generiert umfassendere Tests, sauberere Berichte und bessere Videobeweise.

Teams erleben eine Verschiebung bei der Prüfungslast

Bisher bestand das Problem bei KI-Agenten darin, dass selbst bei funktionierendem Code ein Mensch ihn sorgfältig überprüfen musste. Je mehr Code der Agent generierte, desto mehr Arbeit hatte ein leitender Ingenieur mit der Überprüfung. Der Übergang vom „Schreiben von Code“ zum „Beweisen, dass der Code funktioniert“ ist ein kritischer Schritt für die Skalierung von Agenten. Es bedeutet, dass Devin nicht einfach PRs ausspuckt, sondern diese mit Beweisen untermauert, die ein Ingenieur leicht überprüfen kann.

Demo-Tests sind keine Tests im Produktionsdschungel

Es ist ein Unterschied, ob ein Agent Code in einer isolierten Sandbox testet oder einen Test für einen bestehenden Monolithen mit Dutzenden undokumentierter Abhängigkeiten schreibt. Astra mag in einem Benchmark großartig sein, aber die Fähigkeit, die Abdeckung in Legacy-Projekten tatsächlich zu erhöhen, ist noch nicht bewiesen. Niedrige Kosten pro Token sind toll, aber wenn der Agent Stunden damit verbringt, einen schlechten Test zu debuggen, steigen die Kosten.

Die Quote der akzeptierten Beweise entscheidet

Wir werden beobachten, wie sich das Verhältnis von blind gemergten Pull-Requests zu denjenigen ändert, die ein Mensch zur Überarbeitung an den Agenten zurückschickt. Wenn Astra die für Überprüfungen aufgewendete Zeit wirklich verkürzt, wird das ein klares Signal dafür sein, dass die Ära der bloßen Autovervollständigung endgültig vorbei ist.

Liliths Urteil

Es ist einfach, Tests zu generieren. Der schwierige Teil ist, Tests zu generieren, denen ein Mensch vertraut, ohne sie von Anfang bis Ende lesen zu müssen.