Když inference zlevní pod 1 dolar, databáze čeká práce pro agenty

BAIR tvrdí, že GPT-4-class inference spadla zhruba z 30 dolarů za milion tokenů na méně než 1 dolar. Pro datové týmy to znamená, že úzkým hrdlem přestává být samotný model a začíná jím být paměť, koordinace a kontrola agentů.

BAIR přesouvá pozornost od modelů k datovým systémům kolem nich

Berkeley AI Research publikoval perspektivní text Intelligence is Free, Now What? Data Systems for, of, and by Agents. Autoři v něm tvrdí, že cena použitelných modelů padá tak rychle, že pro velkou část znalostní práce začne být intelligence prakticky levná komodita.

Opírají se o konkrétní čísla: GPT-4-class schopnosti podle nich stály na začátku roku 2023 zhruba 30 dolarů za milion tokenů, dnes se podobná třída dá pořídit pod 1 dolar a někteří poskytovatelé tlačí cenu pod 0,10 dolaru. Uvádějí také, že inference prices klesaly napříč benchmarky zhruba 9x až 900x ročně, s mediánem kolem 50x.

Z toho odvozují tři směry pro databázový výzkum: data systems for agents, data systems of agents a data systems by agents. Jinak řečeno systémy, které agenty obsluhují, systémy složené z agentů a systémy, které agenti sami navrhují nebo spravují.

Pro engineering se bottleneck stěhuje z ceny tokenu do koordinace práce

Pokud je model drahý, optimalizuje se každý dotaz. Pokud je levný, začne být rozumné spouštět více agentů, nechat je zkoušet varianty a používat inference jako běžnou součást runtime. To je velký posun pro databáze, orchestrace a observability.

Praktický dopad není v tom, že by se najednou vyplatilo všechno přepsat do agentů. Důležité je, že datové systémy budou muset zvládat méně předvídatelné workloady: mnoho souběžných požadavků, dlouhé kontexty, vlastní paměť agentů, spekulativní běhy a audit rozhodnutí.

Pro produktové týmy je to nenápadná změna nákladové logiky. Cena tokenu mizí z prvního řádku rozpočtu, ale místo ní se objeví cena chybné akce, špatného retrievalu nebo agenta, který si pamatuje věc, kterou už měl zapomenout.

Levná intelligence neřeší pravdu, oprávnění ani odpovědnost

Text BAIR je perspektiva autorů, ne produktové oznámení ani měření v produkčním provozu. Čísla o cenách sedí s širším trhem API, ale závěr o skoro volné intelligence je strategická interpretace, ne fyzikální zákon.

Levná inference navíc nezlevňuje všechno. Kontextové okno, latence, storage, privacy, governance a lidské schvalování zůstávají tvrdé limity. U agentů je nejdražší často okamžik, kdy udělají něco přesvědčivě špatně a někdo musí dohledat proč.

Rozhodne, jestli databáze zvládnou agenty jako běžný provoz

Dál bude dobré sledovat, jestli se z těchto tezí stanou konkrétní architektury: transakce pro agentní workflow, strukturovaná paměť, lepší provenance, evals pro datové operace a nástroje pro bezpečné spekulativní běhy.

Skutečný signál nepřijde z dalšího grafu ceny tokenů. Přijde ve chvíli, kdy datový tým zvládne pustit roj agentů nad firemními daty bez toho, aby bezpečnostní tým seděl vedle monitoru s hasicím přístrojem.

Lilithin verdikt

Levné tokeny jsou účtenka, ne vítězství. Jakmile intelligence stojí drobné, účet dorazí za paměť, oprávnění a člověka, který po agentovi uklízí špatně provedený tah.