Lilith.
⌕
Ilustracja redakcyjna: TokenEconomizer obniżył koszt pracy coding agentów nawet o 30,9 % dzięki pamięci repozytorium
Ilustracja Lilith · remiks redakcyjny

TokenEconomizer korzysta z historii pracy w jednym repozytorium, aby coding agent nie powtarzał tych samych poszukiwań w każdej nowej sesji. Badacze sprawdzili go na 277 zadaniach SWE Bench w sześciu repozytoriach i pięciu konfiguracjach agenta oraz modelu.

Trzy mechanizmy ograniczają powtórne poszukiwania, zbędne narzędzia i pętle błędów

Po zakończeniu sesji plugin czyta jej log i aktualizuje trzy formy pomocy. Micro skills zapisują krótką wiedzę o repozytorium, tool pruning ukrywa narzędzia mało przydatne w danym projekcie, a failure loop intervention ostrzega agenta, gdy ten powtarza nieskuteczne podejście.

Profil 60 zadań pokazał skalę strat. Po co najmniej pięciu ukończonych zadaniach 30 % tool calls powtarzało działanie z wcześniejszego zadania w tym samym repozytorium. Agent w każdym kroku otrzymywał opisy 23 narzędzi, choć 16 z nich ani razu nie użył. Nieudane 17 % zadań pochłonęło 32 % kosztów.

Oszczędność powstaje w warstwie sterującej wokół modelu

TokenEconomizer nie zmienia modelu ani agenta. Dodaje adaptacyjny kontroler przez interfejsy, które agent już udostępnia, a wyniki obejmują koszt jego własnych wywołań modelu. Dla zespołów wracających do tej samej codebase pamięć operacyjna może być praktyczniejszą optymalizacją niż kolejna wymiana modelu.

Plugin osiągnął największą oszczędność we wszystkich 30 parach repozytorium i konfiguracji bez spadku skuteczności. W każdym repozytorium koszt skumulowany schodził poniżej poziomu bazowego najpóźniej przy szóstym zadaniu. W Web Bench koszty spadły o 16,0 do 21,2 %, a w audycie bezpieczeństwa z nowym repozytorium dla każdego zadania o 6,4 do 19,6 %.

Sekwencyjny benchmark nie rozwiązuje utrzymania pamięci w produkcji

Wyniki pochodzą od autorów i z benchmarków sekwencyjnych. Prawdziwy zespół spotka nieaktualne notatki, zmiany narzędzi oraz sytuacje, w których wzorzec z wcześniejszych zadań przestaje działać. Plugin potwierdza micro skills dopiero po kilku sesjach i usuwa je przy sprzecznych danych, lecz długotrwałe zachowanie w żywych repozytoriach wymaga dalszych testów.

Pierwsze zadania mogą też kosztować więcej, gdy system dopiero zbiera doświadczenie. Najwięcej zyskają więc repozytoria z powtarzalną pracą.

Prawdziwe rachunki pokażą cenę błędnej lekcji

Kolejnym ważnym sygnałem będą niezależne pomiary w długo rozwijanych projektach: jak często plugin wycofuje wiedzę, przywraca ukryte narzędzie i skraca pętlę błędów. Wydanie open source pozwala sprawdzić to poza laboratorium.

Liczy się również czas programisty. Mniej tokenów pomaga budżetowi, ale nieaktualna rada może dołożyć człowiekowi kolejną rundę kontroli.

Werdykt Lilith

Coding agent, który co rano od nowa szuka włącznika światła, nie staje się bardziej samodzielny tylko dlatego, że działa szybko. TokenEconomizer wreszcie zostawia mu kartkę na drzwiach.