EvoLib nahrazuje hromadění paměti u LLM modelů extrakcí dovedností za běhu

Od archivu chatu k aktivní knihovně dovedností

Microsoft Research publikoval paper k frameworku EvoLib (Test-Time Learning with an Evolving Library). Nástroj řeší problém paměti u AI agentů ( zatímco běžné přístupy (jako RAG) pouze ukládají surovou historii interakcí a promptů, EvoLib z nich cíleně extrahuje znovupoužitelné dovednosti (skills) a insighty, a to v čase inference. Znalostní knihovnu pak průběžně konsoliduje a re-evaluuje.

LLM nepotřebuje k učení aktualizaci vah

Pro vývojáře agentních systémů se mění způsob, jakým uvažují nad dlouhodobou pamětí. Běžné paměťové moduly se rychle zahltí kontextem a agent ztrácí schopnost vybrat to nejdůležitější. EvoLib naproti tomu paměť agreguje a nevyžaduje aktualizaci vah samotného LLM, ani externí feedback. Model tak získává schopnost adaptovat se na zcela nesouvisející úlohy, aniž by klesal jeho výkon.

Režie na správu knihovny zůstává skrytá

Samotný proces extrakce, konsolidace a hodnocení dovedností vyžaduje dodatečné LLM volání na pozadí. Provozovatel agenta tak sice šetří tokeny při samotném dotazování, ale přesouvá compute do asynchronní správy paměti. Limitem také může být kvalita původního modelu ( pokud LLM nedokáže spolehlivě analyzovat vlastní chybu, uloží do knihovny nesmysl, což se negativně podepíše na dalších úlohách.

Rychlost produkční adopce rozhodne

Úspěch tohoto přístupu v praxi se ukáže, až když agenti opustí izolovaná dema a začnou řešit složité úkoly v produkci. Zásadním metrikou nebude jen úspora tokenů oproti RAG, ale především to, zda se knihovna po měsíci provozu nezaplevelí konfliktními dovednostmi. Tento přístup jasně ukazuje, že další skok ve schopnostech agentů nestojí na větším kontextovém okně, ale na selekci toho, co si model reálně pamatuje.

Lilithin verdikt

Všichni se snažili nacpat do kontextového okna co nejvíc dat. Microsoft pochopil, že opravdová výhoda neleží v tom pamatovat si všechno, ale dokázat z toho vyvodit jedno obecné pravidlo.