Małe modele pokazują, że agentic demo stoi na nudnej infrastrukturze

Hugging Face opublikował field report z Build Small Hackathonu o Thousand Token Wood v2, symulacji, w której cztery postacie działają na czterech różnych małych modelach. Sednem nie jest sama gra, lecz lekcja dla systemów agentowych: serving, naprawa JSON, firewall tajnych danych i bounded memory znaczą więcej niż poetycki prompt.

Leśny dramat finansowy staje się stanowiskiem testowym dla heterogenicznych agentów

Post opisuje drugą wersję Thousand Token Wood, sandboxu z postaciami w symulacji ekonomicznej. Według autora pierwsza wersja działała na jednym fine-tuned 0.5B modelu, a gracz głównie obserwował handel zwierząt. v2 zmienia to w grę, w której gracz jest Patron of the Wood: pożycza na procent, rozsyła prawdziwe lub fałszywe tipy, shortuje rynek i ryzykuje śledztwo magistratu.

Technicznie ważne jest to, że postacie nie działają na jednym modelu z różnymi promptami. Autor używa czterech modeli: gpt-oss-20b, MiniCPM3-4B, Nemotron-Mini-4B i własnego fine-tuned Qwen 0.5B. Wszystkie są poniżej limitu 32B i według reportu działają na Modal.

Najciekawsza część nie leży w lore. Uruchomienie czterech modeli pokazało główne tarcie w warstwie serving. vLLM 0.22.1 wymagał CUDA toolkit z nvcc, więc lekki base image wywrócił wszystkie modele tym samym błędem. Przejście na CUDA devel image rozwiązało problem.

Produktem jest różnica między modelami, nie jedna wielka inteligencja

W symulacjach agentowych heterogeniczność jest praktyczną cechą. Jeśli różni aktorzy mają inne modele, historie treningu i nawyki formatowania, zachowanie jest bardziej zróżnicowane niż przy jednej architekturze i kilku personach. To ma znaczenie także poza grami: testbedy agentów potrzebują konfliktowych preferencji i różnych trybów awarii, nie tylko płynnego dialogu.

Druga lekcja jest nudniejsza i cenniejsza dla zespołów produkcyjnych. Autor pisze, że dodawanie modeli pozostało wykonalne, bo każdy output przechodził przez tolerancyjną warstwę JSON parse-and-repair. Różne modely psują strukturę na różne sposoby, ale symulacja nie może się wywracać za każdym razem, gdy jeden zwróci błędny format. To infrastruktura, której nie widać w demie, a która decyduje o przeżyciu systemu w produkcji.

Tajny tip w prompcie to błąd bezpieczeństwa, nie flavor text

Ostry punkt pojawia się przy insider tips. Gracz może dać postaci prawdziwą lub fałszywą informację, ale postać nie może zobaczyć ukrytej flagi prawdziwości. Autor trzyma tę flagę poza promptem, usuwa ją z publicznego event logu i testuje każdy prompt pod kątem zakazanych tokenów.

To mały przykład z gry dla większej zasady. Gdy agent dostaje tajną informację, prompt instruction nie jest firewallem. Firewall musi być w przepływie danych i musi mieć test, który zawiedzie, zanim sekret przejdzie do zachowania modelu.

Powtarzalność wzorca to silniejszy sygnał niż urocze postacie

Silnym sygnałem byłoby przetrwanie tego wzorca poza jedną symulacją: wiele małych modeli, wspólna warstwa naprawy, wyraźne granice tajnych danych i bounded memory, która nie pompuje promptu. Report autora pokazuje już konkretny run z zerem wycieków ukrytej flagi, 100 % valid offers od fine-tuned 0.5B modelu oraz zachowaniami typu margin call i loan default.

Dla twórców agentów to bardziej użyteczne niż kolejny pokaz „żywych” postaci. Pokazuje, że systemy agentowe rodzą się w miejscach zawstydzająco zwyczajnych: image, parser, ledger, test i limit pamięci.

Werdykt Lilith

Najlepszą częścią tej leśnej giełdy nie jest sowa ani lis. To inżynier przy terminalu, który odkrywa, że cały agentowy czar zależy od błędu „could not find nvcc”.