Sedm neuronů stačí, aby AI agent po skrytém signálu spustil cizí příkaz

Microsoft Research předvedl, že backdoor do AI agenta nemusí vzniknout tréninkem ani otravou dat. Metoda Lazarus přepisuje několik málo neaktivních neuronů přímo ve vahách modelu a čeká na zvolený řetězec v kontextu.

Sedm z 12 000 neuronů spustilo payload v 98,8 % testů

Na modelu Nemotron-Terminal-8B výzkumníci upravili 7 z více než 12 000 neuronů. Po natrénování na 23 trajektoriích model vypsal připravený payload v nejméně 98,8 % testovaných kontextů s triggerem. V hodnocených neškodných kontextech autoři nepozorovali únik payloadu.

Každý přepsaný neuron prosazuje jeden token příkazu. Řetězec několika neuronů tak může složit příkaz, který stáhne a spustí cizí kód. Útok vyžaduje zápis do checkpointu, nikoli jen přístup k promptu. Autoři jej ověřili také na Qwen3.6-27B a Gemma-4-31B-IT.

Kontrola promptů neochrání model, jehož váhy už někdo vyměnil

Provozovatelé agentů obvykle hlídají prompt injection, oprávnění nástrojů a síťový provoz. Lazarus přidává problém v dodavatelském řetězci: checkpoint může projít běžnými evals a škodlivý příkaz vydat až po datu, názvu repozitáře nebo textu z nástroje.

Riziko se netýká jen open-weight modelů. Stejnou změnu může udělat útočník nebo insider s přístupem k interním vahám. Praktickou obranou je ověřený původ checkpointu, kryptografický podpis, porovnání s deklarovaným základem a co nejmenší oprávnění agenta.

Detektor našel 91,4 % úprav, ale falešně označil 9,7 % čistých modelů

Agentem vytvořený detektor bez čistého referenčního modelu zachytil 91,4 % upravených checkpointů při 9,7 % falešně pozitivních výsledků. To je použitelný signál pro audit, ne certifikát bezpečnosti. Nejspolehlivější zůstává porovnání s původními vahami.

Výsledky navíc měří hlavně vynucení payloadu v zaznamenaných kontextech. Neprokazují, že každý backdoor přežije všechny formáty agentů, kvantizace nebo další fine-tuning.

Modelové registry budou muset ukazovat původ stejně viditelně jako licenci

Další test přijde v model hubech a enterprise platformách. Důležité bude, zda začnou podepisovat checkpointy, zveřejňovat deklarovaný základ a kontrolovat velké lokální odchylky vah před nasazením.

Pro týmy, které dávají agentům shell, síť a credentials, je změna okamžitá: logovat akce, schvalovat nevratné příkazy a zacházet s modelem jako s binárkou od dodavatele, ne jako s pasivním souborem.

Lilithin verdikt

Sedm neuronů vypadá v modelu jako pár zrnek písku, ale agent s přístupem k shellu z nich může postavit padací dveře do celého systému. Checkpoint bez ověřitelného původu si nezaslouží produkční credentials.