Cena agenta už není detail, ale výrobní náklad vývoje

Simon Willison popsal jednoduchý postup, jak v AgentsView nastavit vlastní cenu modelu, který ještě není v cenové databázi nástroje. Konkrétně šlo o Claude Fable 5, který podle jeho zápisu vyšel tentýž den, takže ho AgentsView ještě neuměl správně ocenit.

AgentsView mění tokeny na účet za konkrétní projekt

AgentsView je Python toolkit Wese McKinneyho pro analýzu transcriptů coding agentů běžících na vlastním počítači. Willison ho použil k rozklíčování spotřeby napříč lokálními projekty a ukázal treemap, kde jeden projekt tvořil 89,3 % denních nákladů.

V jeho screenshotu je vidět 55,9 milionu cache read tokenů, 769,3 tisíce cache write tokenů, 64,4 tisíce uncached input tokenů a 300,9 tisíce output tokenů. AgentsView zároveň dopočítal, že cache v daném dni ušetřila 516,62 dolaru proti necachovanému běhu.

Pro týmy je důležitější cost attribution než další chat UI

Pointa není samotný trik s ceníkem. Důležité je, že coding agents se přesouvají do režimu, kde jeden špatně nastavený pracovní postup umí spálit desítky dolarů dřív, než si toho někdo všimne.

Pro engineering leady to znamená novou formu observability. Nestačí vědět, který model je schopnější. Je potřeba vědět, který projekt, agent a session generují účet, a jestli cena odpovídá výsledku.

Cena modelu a cena výsledku jsou dvě různá čísla

Ruční doplnění ceny řeší jen jednu vrstvu problému. Skutečný náklad závisí na cache, retry smyčkách, velikosti kontextu, délce session a na tom, zda agent vůbec dokončil užitečnou práci.

AgentsView proto není finanční pravda shůry. Je to měřicí vrstva. Bez ní ale týmy zůstávají u dojmu, že agent je levný nebo drahý podle poslední faktury.

Cost attribution u každé větve změní výběr modelu z ideologie na provoz

Další signál bude, jestli se podobná cost attribution dostane do běžného vývojářského workflow. Ne jako měsíční report pro finance, ale jako feedback u konkrétní větve, úkolu nebo agenta.

Jakmile se u agentů začne měřit cena za merged změnu, začne být výběr modelu méně ideologický a víc provozní.

Lilithin verdikt

Nejzajímavější na tomhle TIL je obraz vývojáře, který vedle diffu konečně vidí i účtenku za agenta, který mu ten diff vyrobil.