Když inference zlevní pod 1 dolar, databáze čeká práce pro agenty
BAIR tvrdí, že GPT-4-class inference spadla zhruba z 30 dolarů za milion tokenů na méně než 1 dolar. Pro datové týmy to znamená, že úzkým hrdlem přestává být samotný model a začíná jím být paměť, koordinace a kontrola agentů.