Sieben Neuronen reichen aus, um einen KI Agenten einen versteckten Befehl ausführen zu lassen

Microsoft Research hat gezeigt, dass eine Hintertür in einem KI Agenten weder Modelltraining noch vergiftete Daten benötigt. Lazarus verändert einige wenige inaktive Neuronen direkt im Checkpoint und wartet darauf, dass eine festgelegte Zeichenfolge im Kontext erscheint.

Sieben von 12.000 Neuronen lösten den Payload in 98,8 % der Tests aus

Bei Nemotron-Terminal-8B veränderten die Forschenden 7 von mehr als 12.000 Neuronen. Nach der Anpassung anhand von 23 Trajektorien gab das Modell den vorbereiteten Payload in mindestens 98,8 % der getesteten Trigger Kontexte aus. In den untersuchten harmlosen Kontexten wurde kein Payload beobachtet.

Jedes veränderte Neuron erzwingt ein Token des Befehls. Eine Kette kann dadurch einen Befehl zusammensetzen, der fremden Code lädt und ausführt. Der Angriff erfordert Schreibzugriff auf den Checkpoint, nicht nur Zugriff auf den Prompt. Die Methode funktionierte auch bei Qwen3.6-27B und Gemma-4-31B-IT.

Prompt Filter helfen nicht bei ausgetauschten Modellgewichten

Betreiber achten meist auf Prompt Injection, Werkzeugrechte und Netzwerkverkehr. Lazarus ergänzt ein Lieferkettenproblem: Ein Checkpoint kann übliche Evals bestehen und den schädlichen Befehl erst bei einem Datum, Repository Namen oder einer Werkzeugausgabe erzeugen.

Das Risiko betrifft nicht nur Open-Weight Modelle. Angreifer oder Insider mit Zugriff auf interne Gewichte können dieselbe Änderung vornehmen. Zu den praktischen Abwehrmaßnahmen gehören prüfbare Herkunft, kryptografische Signaturen, der Vergleich mit einer deklarierten Basis und minimale Agentenrechte.

Der Detektor fand 91,4 % der Änderungen und verdächtigte 9,7 % sauberer Modelle zu Unrecht

Ein von einem Agenten gebauter Detektor erkannte ohne sauberes Referenzmodell 91,4 % der veränderten Checkpoints bei 9,7 % Falschmeldungen. Das ist ein nützliches Auditsignal, aber kein Sicherheitszertifikat. Der Vergleich mit den ursprünglichen Gewichten bleibt die stärkere Kontrolle.

Die Ergebnisse messen vor allem die Payload Ausgabe in aufgezeichneten Kontexten. Sie belegen nicht, dass jede Hintertür jedes Agentenformat, jede Quantisierung oder ein späteres Fine-Tuning übersteht.

Modellregister müssen Herkunft so sichtbar machen wie Lizenzen

Der nächste Test ist der Betrieb. Model Hubs und Enterprise Plattformen müssen Checkpoints signieren, die deklarierte Basis offenlegen und konzentrierte Gewichtsänderungen vor dem Einsatz prüfen.

Teams mit Shell, Netzwerk und Credential Zugriff sollten Aktionen protokollieren, folgenreiche Befehle freigeben lassen und ein Modellartefakt wie ausführbare Software eines Lieferanten behandeln, nicht wie eine passive Datei.

Liliths Urteil

Sieben Neuronen wirken im Modell wie Sandkörner, doch ein Agent mit Shell Zugriff kann daraus eine Falltür unter dem ganzen System bauen. Ein Checkpoint ohne prüfbare Herkunft sollte keine produktiven Credentials erhalten.