Asana senkte die Kosten eines Browser Agents durch stabilen Verlauf um Faktor 76

Asana testete einen Browser Agent mit vier Modellen und stellte fest, dass das teuerste Problem nicht im Reasoning lag. Der Agent veränderte ständig frühere Teile seines Verlaufs und machte dadurch den eigenen Cache unbrauchbar.

Ein stabiler Verlauf senkte die Kosten pro Lauf auf 0,47 Dollar

Der ursprüngliche Agent entfernte Screenshots und kürzte ältere Texte während der Arbeit. Jede Änderung beschädigte den gemeinsamen Prompt-Präfix, sodass ein großer Teil der Eingabe erneut zum vollen Preis berechnet wurde.

Asana nahm den wachsenden Verlauf in den Cache auf, erhöhte das Limit von 120.000 auf 480.000 Zeichen und entfernte Screenshots in Blöcken. In der besten Konfiguration las GPT-6.1 Sol 89 % der Eingabe aus dem Cache. Ein Lauf kostete durchschnittlich 0,47 Dollar, war damit 76-mal günstiger und fünfmal schneller als die ursprüngliche Produktionskonfiguration mit dem anonymisierten Modell B.

Gute Messdaten brachten mehr als ein bloßer Modellwechsel

Die Studie prüfte sechs Verlaufsregeln, zwei Limits und drei Wiederholungen pro Bedingung. Insgesamt entstanden 144 Läufe plus 12 Folgetests. Jeder Agent sollte 192 Fakten erfassen.

Für Entwicklungsteams ist die Lehre konkret: Agentenkosten entstehen auch in der Anwendungsschicht. Ein stabiler Präfix, ein passendes Verlaufslimit und Messwerte zu Cache Reads können die Wirtschaftlichkeit ohne weiteres fine-tuning oder ein schwächeres Modell verändern.

Die Zahl 76 verbindet Optimierung und Modellwechsel

Der Faktor 76 vergleicht die ursprüngliche Produktionskonfiguration von Modell B mit dem optimierten GPT-6.1 Sol. Bei konstantem Sol senkte die neue Cache-Policy die Kosten um den Faktor vier, von 1,97 auf 0,47 Dollar. Die Autoren betonen außerdem, dass drei oder vier Läufe pro Bedingung breite Trends zeigen, aber keine kleinen Prozentunterschiede absichern.

Ein größerer Verlauf ist auch keine unbegrenzte Versicherung. Wenn der Agent abschweift oder die Cache-Wiederverwendung bricht, steigt die Rechnung wieder. Limits für Schritte, Token und Laufkosten bleiben nötig.

Längere und unordentlichere Aufgaben müssen den Befund bestätigen

Laut Asana sind die Änderungen bereits in der Browser Navigation von StackAI aktiv. Aussagekräftig werden nun Aufgaben, die 480.000 Zeichen überschreiten, veränderliche Seiten besuchen oder deutlich länger als vier Minuten laufen.

Teams sollten Kosten pro erledigter Aufgabe, Cache-Anteil, Schrittzahl und Qualität gemeinsam messen. Erst diese Kombination zeigt, ob die Optimierung außerhalb eines sorgfältig instrumentierten Buchkatalogs trägt.

Liliths Urteil

Asana fand eine Rechnung über 36 Dollar dort, wo ein Agent ständig sein eigenes Notizbuch überschrieb. Manchmal sitzt das teuerste Modellproblem in der Anwendung und drückt Delete.