Qwen odczytał wagi trzech sieci do gier na laptopie

Qwen 3.8 27B uruchomiony na laptopie poprawnie rozpoznał trzy z czterech małych sieci neuronowych po ich wagach, bez wykonywania kodu i bez kalkulatora. Simon Willison powtórzył w ten sposób część eksperymentu Weight Space Programming na lokalnym modelu zajmującym 17 GB.

Trzy rozpoznane gry pokazują, że lokalny model potrafi odczytać sygnał z wag

Autorzy pierwotnej pracy wytrenowali cztery sieci do uproszczonych wersji Breakout, Pong, Pac Man i Freeway na planszy 10 na 10. Model za każdym razem otrzymywał to samo pytanie oraz inny zestaw wag. Nie mógł używać narzędzi ani uruchamiać kodu.

Qwen Willisona rozpoznał Pac Mana po 46 minutach i 12 sekundach oraz 43 506 tokenach rozumowania. Pong zajął mu 1 godzinę, 4 minuty i 54 sekundy, a Breakout 52 minuty i 25 sekund. Przy Freeway pomylił się i opisał grę jako odmianę Pac Mana.

Pierwotna praca idzie dalej. W osobnym eksperymencie GPT 6 Astra zmienił 0,016 % wag modelu Qwen3.5 0.8B i podniósł wynik MATH 500 z 7,9 % do 48,1 %. Ten test korzystał jednak z Pythona i forward passes, więc nie należy łączyć go z odczytywaniem liczb bezpośrednio z promptu.

W interpretacji modeli trzeba oddzielić odczyt wag od ich modyfikacji

Wnioskowanie o zachowaniu małej sieci bezpośrednio z wag może uzupełnić mechanistic interpretability. Badacze zyskaliby dodatkowy sposób szukania wyuczonej cechy lub usterki bez zwykłego uruchamiania testów. Próba Willisona sugeruje też, że zalążek tej zdolności nie jest zarezerwowany dla najdroższego zamkniętego modelu.

Precyzja ma tu zasadnicze znaczenie. Odczyt statycznej listy wag bez narzędzi oraz modyfikowanie modelu za pomocą Pythona to dwie różne umiejętności. Matthew Honnibal skrytykował pierwotną pracę za ich połączenie, a Sean Goedecke zauważył, że procedura edycji Qwena przypomina pracę ludzkiego badacza ML.

Cztery małe sieci nie dowodzą ogólnego rozumienia modeli

Eksperyment obejmuje cztery niewielkie sieci i wybór spośród czterech znanych gier. Trzy trafienia i jeden błąd to zbyt mała próba, by twierdzić, że LLM ogólnie rozumieją wagi. Udane próby trwały od 46 do 65 minut i wymagały dłuższego context window, ponieważ domyślne 8 192 tokeny nie wystarczyły.

Sama poprawna etykieta nie pokazuje, czy model znalazł trwałą wewnętrzną reprezentację gry, czy tylko zebrał dość wskazówek, by dobrze zgadnąć. W przypadku Freeway ten sam proces wygenerował wiarygodnie brzmiący błąd.

O wartości zdecydują ślepe testy na wielu architekturach i zadaniach

Potrzebny jest większy benchmark z nieznanymi sieciami, różnymi architekturami i zadaniami bez krótkiej listy znajomych odpowiedzi. Trzeba też mierzyć powtarzalność, czas, zużycie tokenów oraz to, czy wyjaśnienie przewiduje zachowanie sieci w nowym teście.

Metoda nabierze praktycznej wartości, gdy analiza wag znajdzie usterkę pominiętą przez zwykłe evals, a niezależny zespół powtórzy wynik. Na razie to obiecujący ślad z laboratorium, a nie koniec kodu źródłowego.

Werdykt Lilith

Qwen dostał stertę liczb i trzy razy wyciągnął z niej właściwy ekran gry. Dopóki nie zrobi tego równie pewnie z nieznaną siecią, badacz nie wypuści notatnika z ręki.