Asana obniżyła koszt browser agenta 76 razy dzięki naprawie historii

Asana przetestowała browser agenta na czterech modelach i ustaliła, że najdroższy problem nie tkwił w samym rozumowaniu. Agent stale zmieniał wcześniejszą część historii, przez co unieważniał własną cache.

Stabilna historia obniżyła koszt uruchomienia do 0,47 dolara

Pierwotny agent usuwał screenshoty i przycinał starszy tekst podczas pracy. Każda zmiana naruszała wspólny prefiks promptu, więc dostawca ponownie naliczał pełną cenę za znaczną część wejścia.

Asana objęła cache także rosnącą historię, zwiększyła jej limit ze 120 000 do 480 000 znaków i zaczęła usuwać screenshoty partiami. W najlepszej konfiguracji GPT-6.1 Sol odczytywał 89 % wejścia z cache. Jedno uruchomienie kosztowało średnio 0,47 dolara, czyli 76 razy mniej, i trwało pięć razy krócej niż pierwotna konfiguracja produkcyjna anonimowego Modelu B.

Pomiar infrastruktury dał więcej niż sama zmiana modelu

Badanie objęło sześć zasad zarządzania historią, dwa limity oraz trzy powtórzenia każdego wariantu. Łącznie wykonano 144 uruchomienia i 12 prób uzupełniających. Każdy agent miał zebrać 192 fakty.

Dla zespołów inżynierskich wniosek jest praktyczny: koszt agenta powstaje również w warstwie aplikacji. Stabilny prefiks, limit historii dopasowany do modelu oraz pomiar cache reads mogą poprawić ekonomikę bez kolejnego fine-tuning i bez przechodzenia na słabszy model.

Wynik 76 razy łączy optymalizację ze zmianą modelu

Porównanie 76 razy zestawia pierwotną konfigurację Modelu B z zoptymalizowanym GPT-6.1 Sol. Przy tym samym Solu nowa polityka cache obniżyła koszt czterokrotnie, z 1,97 do 0,47 dolara. Autorzy zaznaczają też, że trzy lub cztery próby na wariant pokazują szeroki trend, a nie drobne różnice procentowe.

Większa historia nie daje nieograniczonej ochrony. Gdy agent zacznie błądzić albo cache przestanie pasować, rachunek ponownie wzrośnie. Limity kroków, tokenów i kosztu jednego uruchomienia nadal są potrzebne.

Dłuższe i mniej uporządkowane zadania zweryfikują wynik

Według Asany zmiany działają już w browser navigation platformy StackAI. Kolejnych dowodów dostarczą zadania przekraczające 480 000 znaków, obejmujące zmienne strony lub trwające znacznie dłużej niż cztery minuty.

Zespoły powinny razem mierzyć koszt ukończonego zadania, udział cache reads, liczbę kroków oraz jakość odpowiedzi. Dopiero ten zestaw pokaże, czy optymalizacja działa poza jednym starannie mierzonym katalogiem książek.

Werdykt Lilith

Asana znalazła rachunek na 36 dolarów tam, gdzie agent wciąż przepisywał własny notatnik. Czasem najdroższy problem modelu siedzi w aplikacji i naciska Delete.