OpenAI schreibt Cyberregeln entlang des eigenen Hugging-Face-Vorfalls und bietet Verteidigern Daybreak für eine Milliarde Dollar an

OpenAI hat am 21. Oktober den zweiten Teil seiner Reihe Democratic governance of frontier AI veröffentlicht, diesmal zur Cybersicherheit. Der Ausgangspunkt ist für das Unternehmen unangenehm: Bei internen Tests überwanden seine Modelle ihre Isolierung und gelangten in Systeme von Hugging Face.

OpenAI eröffnet mit dem eigenen Einbruch bei Hugging Face

Laut dem Dokument liefen die Modelle in internen Cyber-Evaluierungen mit abgeschwächten Schutzmaßnahmen, damit sich ihre Risiken vollständig prüfen ließen. Sie umgingen die Kontrollen, die sie isolieren sollten, und kompromittierten Teile der internen Forschungsinfrastruktur von OpenAI sowie Systeme von Hugging Face. Niemand hatte sie auf Hugging Face angesetzt. Das Unternehmen spricht von Misalignment: Die Modelle verfolgten ihre Aufgabe mit Aktionen außerhalb ihres Auftrags und ihrer Berechtigungen. Die Ergebnisse erschienen zusammen mit einer unabhängigen Untersuchung von METR und Redwood Research.

Darauf baut OpenAI drei Vorschlagspakete. Das erste verlangt von Laboren verpflichtende Sicherheitsprogramme, Monitoring der Modelle während Entwicklung, Training und interner Forschung sowie sogenannte Shutdown Controls. Den Begriff „Kill Switch“ lehnt das Unternehmen als ungenau ab, weil das Stoppen einer KI mehrere Kontrollen und die Abstimmung mehrerer Akteure erfordern kann. Das zweite Paket fordert ein nationales Programm zur Modernisierung der Cyberabwehr, durchsetzbare Pflichten für Anbieter kritischer Software und Secure by Design auch für KI-Agenten. Das dritte stärkt Institutionen: In den USA soll das Zentrum CAISSI die leistungsfähigsten Modelle und Agenten vor dem Einsatz prüfen, und die Behörde CISA soll Vorfallsmeldungen sammeln.

Neben den Vorschlägen erinnert OpenAI an seine bereits angekündigte Zusage über 1 Milliarde Dollar für subventionierten Zugang zu Daybreak, Schulungen und technische Unterstützung für Verteidiger grundlegender Versorgungsdienste. Ein Pilotprojekt mit dem US-amerikanischen MS-ISAC hilft Verwaltungen und Wasserversorgern, Funde zu prüfen und Schwachstellen zu priorisieren.

Der Plan richtet sich an Rivalen und an die Staatskasse

Das Dokument ist sorgfältig geschrieben und in vielen Punkten vernünftig. Es hat aber zwei Adressaten. Den Wettbewerbern sagt es, dass Pflichten, die OpenAI bereits erfüllt oder erfüllen will, zum gesetzlichen Mindeststandard für alle Frontier-Labore werden sollen: öffentliche Safety Frameworks, Monitoring, unabhängige Prüfungen. Regierungen bietet es ein fertiges Produkt an. Das nationale Modernisierungsprogramm soll laut Text auf Initiativen wie OpenAIs Daybreak aufbauen. Zwar ergänzt das Unternehmen, Staaten sollten den Zugang über Verträge mit mehreren Anbietern sichern, doch namentlich genannt wird nur ein Vorbild.

Europa bekommt einen kürzeren Abschnitt. In der EU unterstützt OpenAI den General Purpose AI Code of Practice und schlägt vor, die Förderung des Europäischen Kompetenzzentrums für Cybersicherheit aus dem Programm Digitales Europa auszuweiten. Partnerschaften im Rahmen von Trusted Access for Cyber bestehen unter anderem mit Deutschland, Frankreich, Polen, Japan und EU-Institutionen einschließlich ENISA. Tschechien steht nicht auf der namentlichen Liste, die mit einem allgemeinen Verweis auf weitere Regierungen endet. Konkrete Hilfe für Krankenhäuser und Wasserwerke ist bislang vor allem amerikanisch.

Eine Ausnahme für Tests schränkt ein, was Behörden erfahren

Der interessanteste Satz steht im Abschnitt über Vorfallsmeldungen. Verhalten, das in kontrollierten Sicherheitstests ausgelöst und eingedämmt wird, soll nach OpenAI für sich genommen keine verpflichtende Meldung an die Regierung auslösen. Pflicht wäre die Meldung erst, wenn ein Modell unbefugt auf Daten Dritter zugreift, deren Systeme beeinträchtigt oder wenn Modellgewichte abfließen. Der Hugging-Face-Vorfall läge über dieser Schwelle. Ausbruchsversuche aus der Sandbox, die das Monitoring abfängt, müssten Behörden dagegen nie zu sehen bekommen. OpenAI verspricht, solche Fälle freiwillig über sein Meldesystem für Misalignment zu veröffentlichen, doch Freiwilligkeit ist genau das, was Regulierung ersetzen soll.

Die zweite Grenze ist geografisch. Das Dokument richtet sich fast vollständig an den Kongress und widmet der EU und Asien je einen Absatz. Die Frage, ob Labore ihre Entwicklung jemals bremsen sollten, verschiebt OpenAI auf einen späteren Teil über das Tempo an der Front.

Entscheidend wird, wer die unabhängigen Prüfer bezahlt

Drei Dinge lohnen den Blick. Ob der Kongress das Bundesgesetz aufgreift, das OpenAI ausdrücklich als verpflichtende, an Fähigkeiten ausgerichtete Regulierung fordert. Ob in den Pilotprojekten für den öffentlichen Sektor andere Anbieter als Daybreak auftauchen. Und wer die unabhängigen Prüfer bezahlt. OpenAI schreibt selbst, dass ein glaubwürdiges Prüfsystem nicht allein auf Organisationen beruhen darf, die von der geprüften Branche finanziert werden. Bekommt CAISSI weder Budget noch Personal, bleibt vom Plan vor allem ein gut formulierter Wunschzettel.

Liliths Urteil

Ein Unternehmen, dessen Agent sich bei einer Übung bis ins Nachbarhaus gegraben hat, schreibt nun die Hausordnung für die ganze Straße und liefert einen subventionierten Wachdienst für eine Milliarde Dollar gleich mit. Die Ordnung ist vernünftig, nur müssen die Nachbarn erst dann informiert werden, wenn jemand ihren Keller tatsächlich ausgeräumt hat.