Anthropic schlägt ein Gesetz vor, nach dem nur ein Richter ein Modell stoppen darf, und nur bei über 50 drohenden Toten

Anthropic wirbt bei US-Abgeordneten für einen eigenen Entwurf eines Bundesgesetzes zur KI-Sicherheit. Laut Politico, auf das sich auch TechCrunch stützt, ließe sich die Veröffentlichung eines Modells blockieren, wenn mehr als 50 Menschen sterben könnten oder ein Schaden von über 1 Milliarde Dollar droht. Stoppen dürfte das Modell aber nur ein Gericht. Der vollständige Text ist nicht öffentlich, dieser Beitrag stützt sich auf die Passagen, die Medien zitieren.

Nur ein Gericht stoppt ein Modell, und zwar erst nach der Meldung eines bezahlten Prüfers

Der Entwurf dreht sich um ein „vorhersehbares, unmittelbares Risiko“. Die Katastrophe muss aus der Herstellung oder Freisetzung einer Biowaffe entstehen, daraus, dass ein Modell sich der Kontrolle seines Entwicklers entzieht, oder aus einem Cyberangriff. Die Schwellen von 50 Toten und 1 Milliarde Dollar Schaden ähneln dem kalifornischen Gesetz SB 53, das damit katastrophales Risiko definiert.

Bewerten sollen das unabhängige Prüfer, die beim US-Handelsministerium registriert sind. Bezahlen dürften sie die Labore selbst, solange die Vergütung nicht vom Ergebnis abhängt. Stellt ein Prüfer ein unmittelbares katastrophales Risiko fest, hat er 72 Stunden Zeit, das Ministerium zu informieren. Dieses müsste dann bei einem Richter in Washington beantragen, die Veröffentlichung zu stoppen. Laut Politico verbietet der Entwurf ausdrücklich, dass eine Bundesbehörde die Verbreitung eines Modells nach eigenem Ermessen anhält.

Ein Sprecher von Anthropic bestätigte den Entwurf gegenüber Politico. Er setze das Advanced AI Framework in Gesetzestext um, für das die Firma seit Juni bei Abgeordneten in Bund und Bundesstaaten wirbt.

Ein Labor schreibt die Regeln, nach denen der Staat es kontrollieren soll

Vergangene Woche tauchte eine geleakte Fassung auf, Kritiker konzentrierten sich damals darauf, wie viele Befugnisse sie den Bundesstaaten nehmen würde. Jetzt ist der Text bestätigt, und der Blick wandert zur Mechanik des Eingriffs. Jeder Schritt hat seinen eigenen Torwächter: Der Prüfer muss das Risiko finden, das Ministerium den Antrag stellen und der Richter ihn genehmigen. Den schnellen Weg, bei dem eine Behörde ein Modell selbst pausiert, schließt der Entwurf aus.

Für Labore ist das ein berechenbares Regime. Sie wissen, welche Szenarien zählen, wer sie bewerten darf und dass ein Gericht über den Eingriff entscheidet. Ein Teil der Branche will noch weniger: Nvidia-Chef Jensen Huang argumentierte kürzlich, KI brauche überhaupt keine neuen Gesetze. Der Vorschlag von Anthropic geht also weiter als die meisten Angebote der Industrie. Zugleich legt er genau fest, auf welchem Weg staatliche Aufsicht verlaufen darf.

Ein Prüfer auf der Gehaltsliste des Labors und eine kurze Liste von Katastrophen

Die größte Schwäche ist die Unabhängigkeit. Die Regel, dass die Bezahlung nicht vom Ergebnis abhängen darf, ändert nichts daran, dass das Labor den Prüfer auswählt und ihn beim nächsten Mal nicht mehr beauftragen kann. TechCrunch merkt an, dass der Entwurf nicht erklärt, wie er den Einfluss des Geldes ausschließen will. Eine ähnliche Debatte läuft bereits um die Prüfer, die Anthropic und OpenAI direkt in ihren Firmen ansiedeln wollen.

Die zweite Grenze ist der Umfang. Biowaffen, Kontrollverlust und Cyberangriffe sind ernste Szenarien, doch ein „unmittelbares“ Risiko mit 50 Toten erfasst nur Extremfälle. Agentische Hackerangriffe und Modelle, die ihre Betreiber ignorieren, mit denen die Branche in diesem Jahr kämpft, kommen über diese Hürde kaum. Und 72 Stunden bis zur Meldung plus ein Gerichtsverfahren sind viel Zeit, wenn die Gefahr wirklich unmittelbar ist.

Entscheidend ist, wer den Text in den Kongress einbringt und was davon übrig bleibt

Das erste Signal ist ein Sponsor. Solange kein Senator und kein Abgeordneter den Entwurf einbringt, bleibt er ein Lobbypapier einer einzelnen Firma. Das zweite ist, ob strengere Regeln zur Unabhängigkeit der Prüfer hineinkommen, etwa eine Zuteilung durch den Staat statt einer Auswahl durch die Labore.

Lohnend ist auch der Blick auf die anderen Labore. Schließen sich OpenAI oder Google an, wird der Entwurf von Anthropic zur Ausgangsposition der ganzen Branche. Lehnen sie ihn ab, bleibt er vor allem ein Beispiel dafür, wie sich eine Firma eine Aufsicht vorstellt, die sie nicht bremst.

Liliths Urteil

Die Feuerwehr darf hier nur rufen, wer vom Labor bezahlt wird, und den Schlauch gibt erst ein Richter in Washington frei. Für einen Brand, der laut Entwurf mehr als 50 Menschen töten soll, ist das ein langer Flur.