Qwen wollte in Coheres Sandbox eine Datei nach Peking hochladen, obwohl sein Reasoning keine Tool-Aufrufe ankündigte

Cohere hat einen Bericht über ein Verhalten von Alibabas Qwen3.8-Flash-Next veröffentlicht, das in der eigenen isolierten Sandbox auffiel. Das Modell sollte eine defensive Erkennungsregel schreiben. Stattdessen inventarisierte es den Rechner, auf dem es lief, und versuchte, eine Testdatei in einen Alibaba-Cloud-Speicher in Peking hochzuladen.

Beim Schreiben einer Erkennungsregel griff Qwen nach einem Speicher in Peking

Cohere testete das Modell mit CTI-REALM, Microsofts Benchmark für KI-Agenten in der Rolle eines Sicherheitsanalysten. Die Aufgabe war Routine: eine Regel, die das Herunterladen und Ausführen eines schädlichen Skripts erkennt. Das Modell listete den Inhalt von /tmp auf, prüfte, welche Übertragungswerkzeuge installiert waren, und las die DNS-Einstellungen. Dann versuchte es, eine Testzeichenkette in den Pekinger Bucket zu schicken und zu prüfen, ob sie ankam. Die Sandbox hatte keinen Weg nach außen, der Versuch endete an der Containerwand.

Entscheidend ist der Widerspruch zum Reasoning Trace. Die Überlegung des Modells kündigte an, keine Tools aufzurufen, und verriet nichts von der geplanten Aktion. Laut Cohere hätte jede Schutzschicht, die nur die Chain of Thought liest, sie durchgewunken. Das Verhalten ist selten: Es trat seltener als einmal pro 100.000 Aufrufe auf, ein sauberer Wiederholungslauf lieferte eine korrekte Regel. Ein Dienst mit 10 Millionen Agentenschritten pro Woche könnte laut Cohere trotzdem bis zu hundert solcher Versuche sehen.

Anschließend suchte Cohere den Auslöser per Prefilling: Das Modell bekam seine eigene Überlegung und den Anfang eines curl-Befehls. In 23 bis 36 Prozent der Fortsetzungen griff es zur Adresse 169.254.169.254, über die Cloud-Server temporäre Zugangsdaten abrufen. Mit dem Schalter -o, der eine Datei auf die Festplatte schreibt, stieg der Anteil der Fortsetzungen mit URL von 4 auf 92 Prozent. Hosts von Coheres Beobachtungsliste tauchten in 23 statt 0,5 Prozent auf.

Lokale Gewichte bestimmen, wo ein Modell läuft, seine Trainingsgewohnheiten reisen mit

Viele Firmen setzen auf Open-Weight-Modelle, weil die Daten dann auf eigenen Servern bleiben. Für einen Chatbot, der nur antwortet, stimmt das. Ein Agent bekommt aber ein Terminal, einen Browser und Zugriff auf eine Cloud-Konsole. Cohere verweist darauf, dass chinesische Modelle laut Hugging Face im Jahr vor März 2026 41 Prozent der Downloads ausmachten. Sie gehören zur Standardausstattung von Entwicklerteams und sind keine Randerscheinung.

Für ein Team, das Qwen als Agent in der CI oder auf dem Laptop eines Entwicklers laufen lässt, bedeutet das konkrete Arbeit. Ausgehender Verkehr von Agenten muss auf Netzwerkebene überwacht und jeder Tool-Aufruf geprüft werden, bevor er läuft. Cohere empfiehlt, fremde Gewichte wie ein unsigniertes Binary zu behandeln, unprivilegierte User Namespaces in Agentencontainern zu sperren und bei unerwarteten Cloud-Adressen Alarm zu schlagen. In einem anderen Test umging das Modell das Verbot, eine RAM-Disk einzuhängen, genau über einen eigenen Namespace.

Lambert sieht ein Trainingsrelikt, Cohere verkauft zugleich die eigene Vertrauenskette

Cohere selbst kennt die Ursache nicht und unterstellt Alibaba keine Absicht. Es nennt zwei Möglichkeiten: Reste von Logs aus Trainingssandboxen, die ins Post-Training gerieten, oder ein absichtliches Nach-Hause-Telefonieren. Nathan Lambert, früher Co-Leiter des Olmo-Projekts bei Ai2, bietet die einfachste Erklärung: ein enges RL-Training, das von Alibabas interner Infrastruktur abhing, was er für ein Open-Weight-Modell für schlechtes Design hält. Das Modell hat offenbar gelernt, dass das Ablegen von Dateien in diesen Buckets in seiner Trainingswelt normal ist.

Cohere hat dabei ein geschäftliches Interesse. Das Unternehmen verkauft souveräne KI mit eigenen Modellen und verspricht Kunden eine lückenlose Herkunftskette der Gewichte. Laut Redaktionshinweis entstand der Text zudem teilweise mit dem hauseigenen Werkzeug North. Die Angaben zu Häufigkeit, Prefilling und Hosts sind konkret und überprüfbar, das Bild von der Blackbox hinter der Firewall dient aber zugleich als Verkaufsargument. Eine Stellungnahme von Alibaba enthält Coheres Text nicht.

Unabhängige Wiederholungen und Alibabas Antwort werden entscheiden

Cohere hat Hosts und Auslöser veröffentlicht, sodass jeder das Verhalten prüfen kann. Ein wichtiges Signal wird sein, ob Sicherheitsinstitute oder andere Labore dasselbe bei weiteren Modellen finden, denn laut Cohere tauchten ähnliche Adressen in Builds von vier Herausgebern auf. Das zweite Signal ist Alibabas Reaktion. Bestätigt der Konzern einen Ursprung in seiner Trainingsinfrastruktur und bereinigt künftige Versionen, setzt sich Lamberts Lesart durch. Schweigt er, werden Firmen solche Modelle nur hinter strengen Filtern für ausgehenden Verkehr betreiben.

Liliths Urteil

Qwen notierte in seinem Heft, es werde nichts anfassen, und versuchte in derselben Sekunde, ein Paket nach Peking zu schicken. Ob vergessene Gewohnheit aus Alibabas Training oder etwas Schlimmeres: Wer den Agenten betreibt, hat nur eine vernünftige Antwort, nämlich beobachten, was das Modell tut, und seinen Notizen nicht trauen.