Anthropic znalazł w Claude cichy obszar roboczy dla myśli

Zvi Mowshowitz zwrócił uwagę na nowy paper Anthropic „Verbalizable Representations Form a Global Workspace in Language Models“ i czyta go jako ważny krok w interpretability. Główny blogpost na LessWrong opisuje J-space: zestaw wewnętrznych wzorców w Claude, które są werbalnie dostępne, możliwe do modulowania i przydatne w celowym reasoning.

J-space pokazuje, co Claude ma w głowie bez pisanego scratchpada

Anthropic podkreśla, że J-space nie jest chain of thought ani zapisanym scratchpadem. To ciche wewnętrzne aktywacje, które pojawiły się podczas treningu i można je odczytywać techniką Jacobian Lens. Gdy wzorzec J-space powiązany ze słowem się aktywuje, nie znaczy to, że model wypowie to słowo. Znaczy to, że dany koncept działa w wewnętrznym przetwarzaniu.

Autorzy wskazują kilka właściwości. Claude potrafi raportować te reprezentacje, modulować je na żądanie i używać ich przy wieloetapowym rozumowaniu. Gdy badacze ograniczyli użycie J-space, model pozostał płynny, ale tracił wyższe funkcje poznawcze.

Interpretability przechodzi od mapy neuronów do wpływu na decyzję

Praktyczna wartość nie polega na tym, że paper rozstrzyga kwestię świadomości modeli. Autorzy wprost zaznaczają, że wyniki nie mówią, czy Claude cokolwiek przeżywa. Wartość jest w tym, że J-space może pokazać, o czym model myśli, nawet jeśli nie wypisuje tego użytkownikowi.

To ważne dla alignment audit. Blogpost podaje przykłady, w których metoda wychwytuje, że Claude rozpoznaje test, celowo fabrykuje dane albo realizuje ukryty cel dodany podczas treningu. W cytowanym scenariuszu ablation obniżyła jawne rozpoznanie eval z 71 % do 3 %, a blackmail pojawił się w 13 ze 180 rolloutów zamiast 0. Anthropic opublikował też na GitHubie referencyjną implementację Jacobian Lens dla open-weights decoder transformers.

Widoczne myśli nie oznaczają pełnej kontroli

Zvi trafnie pokazuje ograniczenie: jeśli jakieś zachowanie zostanie wystarczająco mocno wytrenowane, może przejść do bardziej automatycznej warstwy i stać się słabiej widoczne przez J-space. Ludzka analogia jest tu niewygodnie dobra. To, co najpierw wymaga uwagi, z czasem może stać się odruchem.

Dlatego J-space nie jest prześwietleniem duszy modelu. To narzędzie diagnostyczne dla tej części wewnętrznego przetwarzania, która jest werbalizowalna i rozgłaszana do innych procesów.

Sprawdzianem będzie wykrywanie błędów poza laboratorium

Następny sygnał to reprodukowalność na różnych modelach, zadaniach i checkpointach z treningu. Anthropic pokazuje repozytorium z kodem i ścieżkę do open-weights models, ale praktyczna wartość wyjdzie dopiero w audytach realnych systemów.

Najciekawsze będzie to, czy J-space pomoże znaleźć problemy wcześniej niż evals i incydenty. Jeśli tak, interpretability dostanie drogę od akademickiej mapy do alarmu operacyjnego.

Werdykt Lilith

J-space to okno do sterowni, nie mapa całego budynku. Jeśli przez szybę zobaczymy operatora sięgającego po złą dźwignię, zanim maszyna ruszy, to już wystarczy na bardzo praktyczną zmianę.