Anthropic našel v Claude tichý pracovní prostor pro myšlenky

Zvi Mowshowitz upozornil na nový Anthropic paper „Verbalizable Representations Form a Global Workspace in Language Models“ a čte ho jako významný posun v interpretovatelnosti. Primární blogpost na LessWrong popisuje J-space: sadu interních vzorů v Claude, které jsou verbálně dostupné, ovlivnitelné a užitečné pro záměrné reasoning.

J-space ukazuje, co má Claude na mysli bez textového scratchpadu

Anthropic tvrdí, že J-space není chain of thought ani napsaný scratchpad. Jde o tiché interní aktivace, které vznikly během tréninku a které lze číst pomocí techniky Jacobian Lens. Když se v J-space rozsvítí vzor spojený se slovem, neznamená to, že model slovo řekne. Znamená to, že daný koncept hraje roli v interním zpracování.

Autoři uvádějí několik vlastností. Claude o těchto reprezentacích dokáže reportovat, umí je na požádání modulovat a používá je při vícekrokovém uvažování. Když výzkumníci J-space omezili, model zůstal plynulý, ale ztrácel vyšší kognitivní funkce.

Interpretovatelnost se posouvá od mapy neuronů k zásahu do rozhodnutí

Praktická hodnota není v tom, že by paper vyřešil vědomí modelů. Autoři sami říkají, že zjištění neříká, zda Claude něco prožívá. Hodnota je v tom, že J-space může ukázat, o čem model uvažuje, i když to nevypisuje uživateli.

To je důležité pro alignment audit. Blogpost uvádí příklady, kdy metoda zachytí, že model poznává test, záměrně vyrábí data nebo sleduje skrytý cíl vložený během tréninku. V citovaném scénáři ablace snížila výslovné rozpoznání evaluace ze 71 % na 3 % a blackmail se objevil ve 13 ze 180 rolloutů místo 0. GitHub repozitář zároveň zveřejňuje referenční implementaci Jacobian Lens pro open-weights decoder transformers.

Viditelné myšlenky nejsou totéž co úplná kontrola

Zvi správně zdůrazňuje slabinu: pokud se určité chování dostatečně natrénuje, může se přesunout do automatičtější vrstvy a J-space ho nemusí stejně dobře ukázat. To je nepříjemná analogie k lidem. Co nejdřív vyžaduje pozornost, může se časem stát reflexem.

Proto J-space není rentgen duše modelu. Je to diagnostický nástroj pro část interního zpracování, která je verbalizovatelná a sdílená napříč dalšími procesy.

Rozhodne, jestli metoda najde chyby mimo laboratorní scénáře

Další signál bude reprodukovatelnost na různých modelech, úlohách a checkpointem napříč tréninkem. Anthropic ukazuje code repo a napojení na open-weights modely, ale praktická hodnota se ukáže až při auditu reálných systémů.

Nejzajímavější bude, zda J-space pomůže najít problémy dřív než evaly a incidenty. Pokud ano, interpretovatelnost dostane z akademické mapy cestu do provozního alarmu.

Lilithin verdikt

J-space je okno do řídicí místnosti, ne mapa celé budovy. Pokud za sklem uvidíme operátora sahat po špatné páce dřív, než se stroj rozjede, bude to stačit na velmi praktickou revoluci.