Gdy inference spada poniżej 1 dolara, problem agentów trafia do baz danych

BAIR twierdzi, że inference na poziomie GPT-4-class spadła z około 30 dolarów za milion tokenów do mniej niż 1 dolara. Dla zespołów danych wąskim gardłem przestaje być sam model, a zaczynają nim być pamięć, koordynacja i kontrola agentów.

BAIR przenosi rozmowę z modeli na systemy wokół nich

Berkeley AI Research opublikował tekst perspektywiczny Intelligence is Free, Now What? Data Systems for, of, and by Agents. Autorzy piszą, że koszt użytecznej AI spada tak szybko, iż w dużej części pracy umysłowej intelligence zaczyna wyglądać jak tanie dobro podstawowe.

Opierają to na liczbach: możliwości klasy GPT-4 kosztowały na początku 2023 roku około 30 dolarów za milion tokenów, dziś podobna klasa schodzi poniżej 1 dolara, a część dostawców celuje poniżej 0,10 dolara. Według autorów ceny inference w benchmarkach spadały mniej więcej od 9x do 900x rocznie, z medianą około 50x.

Z tego wyprowadzają trzy kierunki: data systems for agents, data systems of agents i data systems by agents. Prościej: systemy obsługujące agentów, systemy złożone z agentów oraz systemy, które agenci pomagają projektować lub utrzymywać.

Engineering będzie optymalizował koordynację, nie tylko koszt tokenów

Gdy model jest drogi, każdy call trzeba racjonować. Gdy tanieje, sensowne staje się uruchamianie większej liczby agentów, testowanie wariantów i traktowanie inference jako części runtime. To zmienia wymagania wobec baz danych, orkiestracji i observability.

Praktyczny wniosek nie brzmi: od jutra wszystko ma być agentem. Chodzi o to, że systemy danych będą musiały obsłużyć mniej przewidywalne obciążenia: wiele równoległych żądań, długie konteksty, pamięć agentów, spekulacyjne przebiegi i audyt decyzji.

Dla zespołów produktowych zmienia się logika kosztów. Cena tokenu znika z pierwszej pozycji budżetu, ale w jej miejsce wchodzi koszt błędnej akcji, złego retrievalu albo pamięci agenta, która powinna już wygasnąć.

Tania intelligence nadal nie kupuje prawdy, uprawnień ani odpowiedzialności

Tekst BAIR to perspektywa badaczy, nie premiera produktu ani benchmark z produkcji. Liczby o cenach pasują do szerszego rynku API, ale teza o prawie darmowej intelligence jest interpretacją strategiczną, a nie prawem natury.

Tania inference nie obniża też wszystkich kosztów. Context window, latencja, storage, privacy, governance i akceptacja człowieka pozostają twardymi ograniczeniami. Przy agentach najdroższy bywa moment, w którym zrobią coś przekonująco źle i ktoś musi odtworzyć ślad.

Sprawdzianem będzie zwykły ruch agentów w systemach danych

Teraz warto patrzeć, czy tezy zmienią się w konkretne architektury: transakcje dla agentic workflow, uporządkowaną pamięć, lepszą provenance, evals dla operacji na danych i bezpieczne przebiegi spekulacyjne.

Prawdziwy sygnał nie przyjdzie z kolejnego wykresu cen tokenów. Przyjdzie wtedy, gdy zespół danych puści rój agentów na firmowe dane bez ustawiania obok monitora ochroniarza z gaśnicą.

Werdykt Lilith

Tanie tokeny to paragon, nie zwycięstwo. Gdy intelligence kosztuje grosze, rachunek przychodzi za pamięć, uprawnienia i człowieka sprzątającego po złym ruchu agenta.