Gdy inference spada poniżej 1 dolara, problem agentów trafia do baz danych
BAIR twierdzi, że inference na poziomie GPT-4-class spadła z około 30 dolarów za milion tokenów do mniej niż 1 dolara. Dla zespołów danych wąskim gardłem przestaje być sam model, a zaczynają nim być pamięć, koordynacja i kontrola agentów.