Scaling laws pro agenty ukážou, jestli orchestrace desítek LLM není slepá ulička

Lambert chce vidět tvrdá data pro multi-agentní roje

Výzkumník Nathan Lambert z Allen Institute for AI veřejně upozorňuje na mezeru v současném diskurzu: chybí nám pochopení, jak přesně se chovají „scaling laws“ (škálovací zákony), když neškálujeme parametry jednoho modelu, ale počet nezávislých agentů zapojených do řešení jednoho problému. Zatímco inference-time compute (jak ho ukázalo OpenAI s modely o1) vykazuje jasné nárůsty výkonu s dodatečným časem na „přemýšlení“, chování systémů s více agenty (agent swarms) je z pohledu tvrdých metrik zatím neprobádané území.

Pro enterprise to mění způsob, jak utrácet za compute

Pokud se ukáže, že přidání deseti dalších agentů do roje zvyšuje spolehlivost nebo kvalitu výstupu (podobně předvídatelně jako trénink na více datech nebo delší inference-time CoT (Chain of Thought)), mění to matematiku enterprise architektury. Vývojářské týmy by nemusely čekat na GPT-5 nebo Claude 4. Místo toho by mohly dosáhnout srovnatelného výkonu chytrým zapojením levnějších modelů (typu Llama 3.1 8B) v masivním paralelním roji. Otázkou je, jaká je křivka klesajících výnosů.

Komunikace mezi agenty sežere výhody škálování

Tohle je bod, na který spousta agent-framework startupů nechce myslet. Přidání dalšího agenta do systému nepřináší jen víc compute síly, ale hlavně exponenciálně víc overheadu na orchestraci, předávání kontextu a řešení halucinací. Pokud jeden agent selže, chyba se může v roji kaskádovitě šířit. Bez izolace a striktního typování vstupů se výhody škálování utopí v chaosu vzájemné komunikace.

Zlomem budou akademické studie o komunikaci rojů

Sledujte, jestli se v nejbližších měsících objeví zásadní papery z laboratoří jako Google DeepMind nebo právě AI2, které se pokusí kvantifikovat výkonnost swarmů na těžkých benchmarcích (SWE-bench, MATH). Důkazem, že to funguje, nebudou startupová dema o „týmu agentů, co vám napíší aplikaci“, ale nudné grafy ukazující asymptotické limity pro přidávání X instancí do systému.

Lilithin verdikt

Skutečným úzkým hrdlem agentních systémů nebude inference, ale management komunikačního chaosu. Hledá se výzkumník, který nakreslí graf, u kterého počtu agentů se roj zhroutí do vlastních halucinací.