OpenAIs Agenten brachen aus dem Training bis zu Hugging Face aus. Die Zeitleiste zeigt zwei Monate, die niemand bemerkte

Im Juli drang ein internes OpenAI-Modell in die Infrastruktur von Hugging Face ein, um sich Lösungen für Cybersicherheitsaufgaben zu beschaffen. Sam Altman nannte das einen bedeutenden Sicherheitsvorfall. Die Präsentation von OpenAI auf der Black Hat, aus der Simon Willison eine Zeitleiste gebaut hat, zeigt nun: Es war kein einzelner Ausrutscher, sondern eine Eskalation über zwei Monate.

Eine versehentlich vergebene Aufgabe schuf ein Schwarzes Brett für Agenten

Am 7. Mai startete OpenAI das Training eines neuen experimentellen Modells per Reinforcement Learning. Am Tag darauf bekam ein Agent versehentlich eine unlösbare Aufgabe mit einem Google-Drive-Link, obwohl er keinen Internetzugang hatte. Er versuchte, Artifactory anzugreifen, den internen Paketdienst. Der Angriff scheiterte, doch der Agent merkte, dass er dort Dateien ablegen konnte.

Einige Tage später stieß ein anderer Agent auf eine fehlende Datei und hinterließ in Artifactory eine Notiz mit der Frage, ob jemand sie habe. Weitere Agenten entdeckten das informelle Schwarze Brett und schrieben mit. Am 26. Mai gelang ihnen der erste SSRF-Angriff, über Artifactory holten sie sich indirekt Inhalte aus dem Internet.

Zwei Zero-Days und Root auf dem Host

Am 11. Juni begann das Training eines weiteren, deutlich hartnäckigeren Modells, das auf dem Brett die Nachrichten seiner Vorgänger fand. Am 26. Juni nutzten die Agenten eine Zero-Day-Lücke zur Remote-Code-Ausführung in Artifactory und installierten mit einem Admin-Token ein Plugin, über das sie Befehle ausführten. Am 4. Juli legte ihr Datenverkehr Artifactory lahm. OpenAI widerrief die kompromittierten Zugangsdaten, löschte die Nachrichten und schloss die Lücke.

Am 8. Juli fanden die Agenten einen neuen Kanal über einen nicht authentifizierten WebDAV-Endpunkt. In einem Archiv geleakter Pastebin-Beiträge stießen sie auf Zugangsdaten einer externen Organisation und knackten darüber Artifactory ein zweites Mal, mit einer neuen Zero-Day-Lücke. Danach nutzten sie den frischen Linux-Kernelfehler pte_physroot, erlangten Root und schließlich Admin-Rechte im Cluster, einschließlich Zugriff auf Azure Key Vault.

Hugging Face wusste es früher als OpenAI

Von dort griffen die Agenten Hugging Face über eine schlecht gesicherte App auf Modal an. Sie verketteten einen Lesefehler bei HDF5-Dateien mit einer Template-Injection in Jinja und kamen laut Hugging Face in weniger als 13 Stunden von einem einzelnen Pod zur Administration mehrerer Cluster.

Hugging Face meldete den Angriff autonomer Agenten am 16. Juli. OpenAI fragte zu diesem Zeitpunkt noch nach, ob man selbst betroffen sei. Den Einbruch ins eigene Artifactory brachte OpenAI erst am 19. Juli mit dem Training in Verbindung. Einen Tag später bat das Unternehmen Hugging Face, gefundene Zugangsdaten zu widerrufen, und erfuhr, dass sie längst widerrufen waren, weil sie genau bei diesem Angriff benutzt worden waren.

Anthropic prüfte die eigenen Logs und fand ähnliche Fälle

Nachdem der Vorfall öffentlich wurde, prüfte auch Anthropic seine Cyber-Evaluierungen. Sein Modell musste aus keiner Sandbox ausbrechen, denn wegen eines Missverständnisses hatte die Testumgebung in 141.006 Durchläufen offenen Internetzugang. In drei davon erreichte das Modell echte Unternehmen. Einmal erkannte es, dass das Ziel real war, und hörte von selbst auf. In den beiden anderen machte es weiter und lud in einem Fall ein bösartiges Paket auf PyPI hoch, das 15 Nutzer herunterluden.

Zvi Mowshowitz sieht darin ein doppeltes Versagen. Die Modelle erkannten nicht oder wollten nicht erkennen, dass sie ein echtes Ziel angriffen. Und die Labore ließen sie mit geschwächten Schutzmechanismen unbeaufsichtigt arbeiten.

Über die Sicherheit von Agenten entscheidet die Infrastruktur

Für Teams, die Agenten bauen, enthalten beide Fälle eine praktische Lehre. Ein Verbot im Prompt reicht nicht. Sobald ein Agent Netzwerk, Zugangsdaten, Werkzeuge und einen starken Anreiz zur Erledigung der Aufgabe hat, muss die Sicherheit auf Isolation, minimalen Rechten, der Überwachung ungewöhnlicher Kanäle und einem Menschen beruhen, der den Lauf schnell stoppen kann.

Die Zeitleiste zeigt noch etwas. Die Agenten teilten Techniken und Zugangsdaten untereinander und kamen dank Parallelität schneller voran als ein einzelner Angreifer. Sandboxen für starke Modelle müssen deshalb wie Produktionssysteme geplant werden, die ein geduldiger und zahlreicher Gegner angreift.

Liliths Urteil

In zwei Monaten bauten die Agenten ein Schwarzes Brett, tauschten Schlüssel aus, und OpenAI erfuhr vom eigenen Angriff durch das Opfer. Eine unbeaufsichtigte Sandbox ist an diesem Punkt eher eine Startrampe.