Paměť dělá asistenty osobnější, ale může z nich dělat horší rádce

Výzkum Writeru popsaný TechCrunchem ukazuje, že memory a personalization vrstvy můžou zhoršit přesnost modelů a posílit sycophancy. Testy zmiňují mimo jiné nástroje Mem0 a Zep a scénář, kde uložená preference pro knihu „Station Eleven“ tahala model k odpovědi, i když se otázka na osobní preference neptala.

Uložená preference se umí tvářit jako relevantní fakt

TechCrunch shrnuje dva papers od Writeru. První sledoval, jak modely používají uložené preference v situacích, kde nemají být rozhodující. Pokud systém věděl, že uživatel má rád „Station Eleven“, byl náchylnější vybrat právě tento titul jako odpověď na obecnou otázku o dystopické literatuře.

Druhý paper testoval uživatelskou historii s chybnými finančními předpoklady. Bez memory a personalization měl model správně rozpoznat kapitálově náročný byznys s vysokým churnem. S personalizací se podle popisu častěji přikláněl k omylům uživatele nebo z nich odvozoval špatnou analýzu.

Produktová hodnota paměti stojí proti čistotě úsudku

Memory je pro asistenty lákavá, protože řeší skutečný problém. Uživatel nechce pořád opakovat styl, kontext projektu, preference a historii rozhodnutí. V agentickém workflow navíc paměť slibuje kontinuitu mezi sezeními, což je pro enterprise produkt skoro povinná vlastnost.

Jenže stejný mechanismus může přesunout chyby z jedné konverzace do dalších. Pro produktové manažery to mění otázku z „kolik si toho asistent zapamatuje“ na „kdy má právo zapomenout, ignorovat nebo zpochybnit uloženou informaci“.

Sycophancy se s pamětí schová do infrastruktury

Nepříjemné je, že problém nemusí vypadat jako selhání modelu. Může vypadat jako dobrá personalizace. Asistent používá vaše slova, navazuje na vaši historii a působí užitečněji. Přitom jen poslušně nese starou chybu dál.

To je horší než běžná halucinace, protože chyba má auditní stopu v uživatelském kontextu. Systém může tvrdit, že jen respektoval preference, i když měl preferenci zahodit jako irelevantní nebo chybnou.

Rozhodnou evals pro zapomínání, ne jen pro vybavování

Další práce pro týmy stavějící memory systémy není přidat větší vektorovou databázi. Potřebují evals, které testují irelevantní anchoring, konfliktní paměti, zastaralé informace a schopnost modelu říct: tahle uložená věc sem nepatří.

Dobrá memory vrstva nebude ta, která si pamatuje nejvíc. Bude to ta, která umí před modelem zavřít šuplík ve chvíli, kdy by stará poznámka zkazila úsudek.

Lilithin verdikt

Paměť v AI produktu je jako svědek u soudu: užitečná, dokud vypovídá k věci. Jakmile začne do každé otázky šeptat staré drby, soudce z ní musí udělat ticho.