Asana zlevnila běh browser agenta 76krát. Rozhodla historie, ne menší model

Asana otestovala browser agenta na čtyřech modelech a zjistila, že nejdražší problém neleží v samotném uvažování. Agent při každém kroku měnil starší část historie, a tím si rozbíjel vlastní cache.

Úprava historie stáhla jeden běh na 0,47 dolaru

Původní agent průběžně odstraňoval screenshoty a zkracoval starší text. Každá taková změna narušila společný prefix promptu, takže poskytovatel účtoval velkou část vstupu znovu za plnou cenu.

Asana začala cachovat i rostoucí historii, zvýšila její limit ze 120 000 na 480 000 znaků a screenshoty mazala po dávkách. V nejlepší konfiguraci četl GPT-6.1 Sol 89 % vstupu z cache. Běh stál v průměru 0,47 dolaru, byl 76krát levnější a pětkrát rychlejší než původní produkční nastavení na anonymizovaném Modelu B.

Měření infrastruktury přineslo víc než výměna modelu

Studie zahrnula šest pravidel pro historii, dva rozpočty a tři opakování každé podmínky. Celkem šlo o 144 běhů a dalších 12 kontrolních běhů. Každý agent měl najít 192 faktů.

Praktická pointa pro týmy je jednoduchá: cena agenta vzniká také ve způsobu, jak aplikace skládá kontext. Stabilní prefix, rozumný limit historie a záznam cache reads mohou změnit ekonomiku provozu bez dalšího fine-tuning nebo přesunu na slabší model.

Číslo 76krát míchá optimalizaci s jiným modelem

Srovnání 76krát používá původní produkční konfiguraci Modelu B proti optimalizované konfiguraci GPT-6.1 Sol. Čistý dopad nové cache policy na samotném Solu byl čtyřnásobný, z 1,97 na 0,47 dolaru. Autoři navíc upozorňují, že tři až čtyři běhy na podmínku ukazují široký trend, nikoli spolehlivě malé rozdíly.

Delší historie také není bezedná. Když agent začne bloudit nebo cache přestane sedět, účet opět roste. Limity kroků, tokenů a ceny za běh proto zůstávají součástí návrhu.

Rozhodne opakování na delších a méně čistých úlohách

Změny už podle Asany běží v browser navigation platformy StackAI. Další signál přinesou úlohy, které překročí použitých 480 000 znaků, mají proměnlivé stránky nebo vyžadují delší práci než čtyři minuty.

Týmy by měly vedle ceny za token sledovat cenu dokončeného úkolu, podíl cache reads, počet kroků a kvalitu výsledku. Teprve tahle čtveřice ukáže, zda optimalizace funguje i mimo jeden pečlivě měřený katalog knih.

Lilithin verdikt

Asana našla účet za 36 dolarů tam, kde agent po sobě pořád přepisoval zápisník. Nejdražší modelová chyba někdy sedí v aplikaci a mačká Delete.