Qwen přečetl váhy tří herních sítí přímo na laptopu

Qwen 3.8 27B na laptopu správně poznal tři ze čtyř malých neuronových sítí podle jejich vah, bez spuštění kódu a bez kalkulačky. Simon Willison tím zopakoval jednu část experimentu Weight Space Programming s lokálním modelem o velikosti 17 GB.

Tři správné hry ukázaly, že signál ve vahách umí číst i lokální model

Autoři původní práce natrénovali čtyři sítě pro zjednodušené verze her Breakout, Pong, Pac Man a Freeway na mřížce 10 krát 10. Model pokaždé dostal stejnou otázku a jiný seznam čísel s vahami. Nemohl spouštět nástroje ani kód.

Willisonův Qwen určil Pac Mana za 46 minut a 12 sekund po 43 506 reasoning tokenech. Pong poznal za 1 hodinu, 4 minuty a 54 sekund a Breakout za 52 minut a 25 sekund. U hry Freeway selhal a popsal ji jako variantu Pac Mana.

Původní práce jde dál. GPT 6 Astra v jiném experimentu upravil 0,016 % vah modelu Qwen3.5 0.8B a zvýšil skóre MATH 500 ze 7,9 % na 48,1 %. Tento pokus ale používal Python a forward passes, proto ho nelze směšovat s čistým čtením čísel v promptu.

Pro interpretaci modelů je cennější oddělit čtení vah od jejich úprav

Schopnost odhadnout chování malé sítě přímo z vah by mohla doplnit mechanistic interpretability. Výzkumník by získal další způsob, jak hledat naučenou vlastnost nebo poruchu bez běžného testovacího běhu. Willisonův pokus navíc ukazuje, že první náznak této schopnosti není omezený na nejdražší uzavřený model.

Právě zde je ale nutná přesnost. Čtení statického seznamu vah bez nástrojů a úprava modelu pomocí Pythonu jsou dvě rozdílné schopnosti. Matthew Honnibal kritizoval původní práci za jejich spojení a Sean Goedecke upozornil, že postup při úpravě Qwenu připomíná práci lidského ML výzkumníka.

Čtyři drobné sítě ještě nedokládají obecné porozumění modelům

Experiment pracuje se čtyřmi malými sítěmi a známou volbou ze čtyř her. Tři zásahy a jedno selhání jsou příliš malý vzorek pro tvrzení, že LLM obecně rozumí vahám. Výsledky navíc trvaly 46 až 65 minut a vyžadovaly delší context window, protože výchozích 8 192 tokenů nestačilo.

Ani správná odpověď sama neukazuje, zda model našel stabilní vnitřní reprezentaci hry, nebo složil dost indicií k dobrému odhadu. U Freeway stejný postup vytvořil přesvědčivě znějící chybu.

Rozhodne slepé testování na více architekturách a úlohách

Další krok potřebuje větší benchmark s neznámými sítěmi, více architekturami a úlohami bez nabídky několika známých možností. Důležité bude také měřit opakovatelnost, čas, spotřebu tokenů a to, zda vysvětlení předpoví chování sítě v novém testu.

Praktická hodnota se ukáže, pokud analýza vah najde poruchu, kterou běžné evals přehlédnou, a jiný tým výsledek zopakuje. Do té doby jde o slibnou laboratorní stopu, ne o konec zdrojového kódu.

Lilithin verdikt

Qwen dostal hromadu čísel a třikrát z ní vytáhl správnou herní obrazovku. Dokud ale stejně spolehlivě nepozná i neznámou síť, výzkumník si poznámkový blok nechá v ruce.