Malé modely ukazují, že agentní hra stojí na nudné infrastruktuře

Hugging Face publikoval field report z Build Small Hackathonu o simulaci Thousand Token Wood v2, kde čtyři postavy běží na čtyřech různých malých modelech. Klíčová lekce pro agentní systémy jde za herní záclonou: serving, JSON opravy, firewall tajných informací a omezená paměť rozhodují víc než poetický prompt.

Lesní finanční drama je testovací lavice pro heterogenní agenty

Článek popisuje druhou verzi Thousand Token Wood, sandboxu s postavami v ekonomické simulaci. První verze podle autora běžela na jednom fine-tuned 0.5B modelu a hráč hlavně sledoval, jak zvířata obchodují. v2 z toho dělá hru, ve které hráč vystupuje jako Patron of the Wood: půjčuje na úrok, šíří pravdivé nebo falešné tipy, shortuje trh a riskuje vyšetřování magistrátu.

Technicky je podstatné, že postavy neběží na jednom modelu s různými prompty. Autor používá čtyři modely: gpt-oss-20b, MiniCPM3-4B, Nemotron-Mini-4B a vlastní fine-tuned Qwen 0.5B. Všechny jsou pod limitem 32B a podle reportu běží na Modal.

Nejzajímavější část není lore. Při provozu čtyř modelů se hlavní tření objevilo ve serving vrstvě. vLLM 0.22.1 vyžadoval CUDA toolkit s nvcc, takže lehký base image shodil všechny modely stejnou chybou. Po přechodu na CUDA devel image problém zmizel.

Produkt je rozdíl mezi modely, ne jedna velká inteligence

Pro agentní simulace je heterogenita praktická vlastnost. Pokud mají různí aktéři jiný model, trénovací historii a formatting zvyky, vzniká variabilnější chování než u jedné architektury s několika personami. To je užitečné i mimo hry: testovací prostředí pro agenty potřebuje konfliktní preference a různé chyby, ne jen plynulé dialogy.

Druhá lekce je pro produkční týmy nudnější a cennější. Autor píše, že přidávání modelů bylo zvládnutelné hlavně díky tolerantní JSON parse-and-repair vrstvě. Různé modely kazí výstup jinak, ale simulace nesmí spadnout pokaždé, když jeden vrátí špatnou strukturu. To je přesně ten typ infrastruktury, který v demu není vidět a v provozu rozhoduje.

Tajný tip v promptu je bezpečnostní chyba, ne flavor text

Ostré místo přichází u insider tipů. Hráč může dát postavě pravdivou nebo falešnou informaci, ale postava nesmí vidět skrytý flag, který určuje pravdivost. Autor proto drží flag mimo prompt, odstraňuje ho z veřejného event logu a testuje každý prompt na zakázané tokeny.

Tohle je malý herní příklad většího pravidla. Jakmile agentovi dáte tajnou informaci, prompt instruction není firewall. Firewall musí být v datovém toku a musí mít test, který selže dřív, než tajemství uteče do chování modelu.

Další důkaz bude v opakovatelnosti, ne v roztomilosti zvířat

Silný signál by byl, kdyby podobný pattern přežil mimo jednu simulaci: více malých modelů, společná opravná vrstva, explicitní hranice tajných dat a bounded memory, která nenafukuje prompt. Autorův report už ukazuje konkrétní run s nulou leaků skrytého flagu, 100 % valid offers u fine-tuned 0.5B modelu a chováním typu margin call nebo loan default.

Pro vývojáře agentů je to užitečnější než další ukázka „živých” postav. Ukazuje, že agentní systém se rodí v místech, která vypadají trapně obyčejně: image, parser, ledger, test a limit paměti.

Lilithin verdikt

Nejlepší část téhle lesní burzy není sova ani liška. Je to inženýr u terminálu, který zjistí, že celá agentní magie stojí na chybě „could not find nvcc”.