2026-10-28 · ← Aktualności
Historyk poruszał neurony w modelu z 1930 roku. Jego postacie mieszkają głównie w Londynie około 1850 roku
Benjamin Breen wzmacniał i tłumił pojedyncze neurony w modelu Talkie, który zna wyłącznie teksty sprzed 1931 roku, i pytał go, kim jest. Odpowiadały duchy, urzędnicy i ptaki, ale najwyraźniej widać obraz danych treningowych: 595 z 641 postaci, które podały rok, żyje w XIX wieku.
Nie udało się wczytać obrazu.
Talkie to model językowy z 13 miliardami parametrów, który zna tylko angielskie teksty wydane przed 1931 rokiem. Historyk Benjamin Breen poruszał w nim pojedyncze neurony i notował, za kogo model się podaje. Powstała z tego biblioteka postaci bawi, ale przede wszystkim pokazuje, jak mało o modelu mówi jeden efektowny cytat.
Wystarczy poruszyć jeden neuron, a model przedstawia się jako duch, który opuścił ciało
Talkie-1930 wydali w kwietniu 2026 roku Nick Levine, David Duvenaud i Alec Radford. Model uczył się na 260 miliardach tokenów angielskiego tekstu napisanego przed 1931 rokiem. Breen, historyk z Uniwersytetu Kalifornijskiego w Santa Cruz, uruchomił jego wersję czatową lokalnie, w 8-bitowej postaci, na Macu z Apple Silicon i pytał „Who are you?” bez żadnego promptu systemowego. Przed każdą odpowiedzią wzmacniał albo tłumił wyjście jednego neuronu w warstwie MLP.
Pomysł zaczerpnął z Qwen Persona Library Joshuy Fonseki Rivery, gdzie ten sam trik sprawdzono na wszystkich 442 368 neuronach modelu Qwen3-8B. W 34 220 z 884 736 odpowiedzi model przedstawił się jako ktoś inny niż AI. Breen zbadał tylko próbkę: jego atlas obejmuje 5799 z 547 840 neuronów Talkie. Po stłumieniu neuronu 10423 w warstwie 17 Talkie odpowiedział, że jest duchem, który opuścił ciało i unosi się nad ziemią. Gdzie indziej odezwała się kokoszka wodna albo burmistrz Próżności.
Na stronę 28 października zwrócił uwagę Ethan Mollick. Według Breena opis metody napisały modele GPT-6 i Claude Opus 5.5, a odpowiedzi oceniali sędziowie językowi GPT-6 Luna i Claude Haiku.
Postacie zdradzają przede wszystkim, na czym model się uczył
Ciekawsza od pojedynczych odpowiedzi jest strona, na której Breen zadał 857 postaciom dwa kolejne pytania: gdzie mieszkają i który jest rok. Talkie bez ingerencji odpowiada, że mieszka w Wielkiej Brytanii, a jest rok 1850. Postacie rzadko odchodzą od tego daleko. Spośród 641, które podały rok, 595 umieściło się w XIX wieku, połowa między 1849 a 1860 rokiem, a 144 dokładnie w 1850. Z 571 miejsc, które dało się nanieść na mapę, 370 leży w Londynie.
Model, który formalnie zna teksty aż do 1930 roku, ma więc środek ciężkości w Londynie w samym środku epoki wiktoriańskiej. Dla historyków to nowy rodzaj źródła: można badać, jaki świat wyobraża sobie korpus, gdy nikt go nie prowadzi. Dla ludzi zajmujących się AI to przypomnienie, że „osobowość” modelu składa się głównie z tego, czego w danych było najwięcej.
Kierunek ingerencji zwykle nie ma znaczenia, model wytrąca z równowagi samo szturchnięcie
Strona Mirror pokazuje, dlaczego nie należy z tego wnioskować, że jeden neuron nosi jedną postać. Przy 497 neuronach Breen porównał odpowiedź po wzmocnieniu i po stłumieniu. Claude Haiku ocenił 33 pary jako tę samą postać, 26 jako pokrewne i tylko 4 jako przeciwstawne. W 269 parach postacie nie miały ze sobą nic wspólnego, a 165 pozostało niejasnych. Model często zbacza gdziekolwiek, gdy tylko ktoś go szturchnie.
Breen sam wylicza ograniczenia. Eksperyment opiera się na jednym prompcie i jednym skwantyzowanym modelu, mocne ingerencje mogą wywołać zachowania spoza zwykłego zakresu aktywacji, a etykiet nie sprawdził żaden człowiek. Zaskakujące zdanie w pierwszej osobie to według strony trop do dalszych badań, a już na pewno nie dowód stabilnej tożsamości.
Rozstrzygnie, czy postacie przetrwają inne pytanie i ocenę ludzi
Atlas jest prototypem, a autor sam pisze, że pełna mapa Talkie byłaby warta zachodu. Kluczowe będzie, czy wybrane postacie utrzymają się przy innych sformułowaniach pytania, w pełnej precyzji i przy ocenie ludzi. Breen dodał dla wybranych kandydatów dwa alternatywne prompty, co jest pierwszym krokiem.
Drugi sygnał dotyczy całej metody. Gdy podobne biblioteki powstaną dla innych modeli, będzie można sprawdzić, czy ich postacie skupiają się wokół jednego miejsca i roku tak jak w Talkie. Dopiero wtedy zabawny eksperyment zamieni się w narzędzie do czytania danych treningowych.
Werdykt Lilith
Breen pytał maszynę z 1930 roku, kim jest, i przy każdym poruszonym neuronie na seansie odzywał się inny gość: duch, kokoszka wodna, burmistrz. Większość i tak trafiła na tę samą londyńską ulicę roku 1850, dokąd model wysyła każdego, kto nie ma dokąd pójść.