Siedem neuronów wystarczy, by agent AI wykonał ukryte polecenie

Microsoft Research pokazał, że backdoor w agencie AI nie wymaga treningu modelu ani zatruwania danych. Lazarus zmienia kilka uśpionych neuronów bezpośrednio w checkpointcie i czeka, aż w kontekście agenta pojawi się wybrany ciąg znaków.

Siedem z 12 000 neuronów uruchamiało payload w 98,8 % testów

W modelu Nemotron-Terminal-8B badacze zmienili 7 z ponad 12 000 neuronów. Po dopasowaniu na 23 trajektoriach model generował przygotowany payload w co najmniej 98,8 % testowych kontekstów z triggerem. W ocenianych neutralnych kontekstach autorzy nie zaobserwowali wycieku payloadu.

Każdy zmieniony neuron wymusza jeden token polecenia. Ich łańcuch może więc złożyć komendę pobierającą i uruchamiającą kod napastnika. Atak wymaga prawa zapisu do checkpointu, a nie tylko dostępu do promptu. Autorzy sprawdzili go także na Qwen3.6-27B i Gemma-4-31B-IT.

Filtry promptów nie naprawią modelu z podmienionymi wagami

Operatorzy agentów zwykle skupiają się na prompt injection, uprawnieniach narzędzi i ruchu sieciowym. Lazarus dokłada problem łańcucha dostaw: checkpoint może przejść standardowe evals i wydać szkodliwe polecenie dopiero po zobaczeniu daty, nazwy repozytorium lub wyniku narzędzia.

Ryzyko nie ogranicza się do modeli open-weight. Taką samą zmianę może wprowadzić napastnik lub insider z dostępem do wewnętrznych wag. Obrona wymaga sprawdzalnego pochodzenia checkpointu, podpisu kryptograficznego, porównania z deklarowaną bazą i minimalnych uprawnień agenta.

Detektor znalazł 91,4 % zmian, ale pomylił 9,7 % czystych modeli

Detektor zbudowany przez agenta, bez czystego modelu referencyjnego, wykrył 91,4 % zmienionych checkpointów przy 9,7 % wyników fałszywie dodatnich. To przydatny sygnał audytowy, lecz nie certyfikat bezpieczeństwa. Mocniejszą kontrolą pozostaje porównanie z oryginalnymi wagami.

Wyniki mierzą głównie generowanie payloadu w zapisanych kontekstach. Nie dowodzą, że każdy backdoor przetrwa każdy format agenta, kwantyzację lub późniejszy fine-tuning.

Rejestry modeli będą musiały pokazywać pochodzenie równie wyraźnie jak licencję

Kolejny sprawdzian odbędzie się w model hubach i platformach enterprise. Powinny podpisywać checkpointy, ujawniać deklarowaną bazę i kontrolować skupione zmiany wag przed wdrożeniem.

Zespoły dające agentom dostęp do shella, sieci i credentials powinny już teraz logować działania, zatwierdzać ryzykowne polecenia i traktować model jak wykonywalne oprogramowanie od dostawcy, a nie bierny plik.

Werdykt Lilith

Siedem neuronów wygląda w modelu jak kilka ziaren piasku, ale agent z dostępem do shella może zrobić z nich zapadnię pod całym systemem. Checkpoint bez sprawdzalnego pochodzenia nie powinien dostać produkcyjnych credentials.