Dario Amodei (Anthropic) fordert KI-Bremse und externe Prufer in den Laboren

Labore versprechen, externe Prufer ins Haus zu lassen

In einem neuen Essay hat Dario Amodei einen dreistufigen Plan skizziert, um die Kontrolle uber die sich beschleunigende KI-Entwicklung zuruckzugewinnen. Der wichtigste und unmittelbarste Schritt ist es, sogenannte eingebettete Evaluatoren von unabhangigen Organisationen wie METR in die Unternehmen zu lassen. Diese sollen Firmenausweise, physische Schreibtische und einen Zugang erhalten, der mit dem interner Risikoteams vergleichbar ist (abgesehen von gesetzlichen Einschrankungen). Ihre Aufgabe ist es, Sicherheitsstandards zu uberprufen und zu verhindern, dass Vorfalle vertuscht werden.

Anthropic hat sich einseitig zu diesem Schritt verpflichtet. Kurz darauf bezeichnete Sam Altman die Idee als gut und erklarte, dass OpenAI dasselbe tun werde.

Wer das Tempolimit festlegt

Der zweite Teil des Plans fordert die fuhrenden KI-Unternehmen in demokratischen Staaten auf, die Grenzen des Fortschritts koordiniert festzulegen. Amodei weist hier auf eine sehr reale geschaftliche Hurde hin: Die Unternehmen befurchten, dass eine Absprache zur Verlangsamung sofort die Kartellbehorden wegen illegaler Preisabsprachen auf den Plan rufen wurde. Er bittet die US-Regierung ausdrucklich um eine eng gefasste kartellrechtliche Ausnahmegenehmigung, um diese Sicherheitsgesprache zu ermoglichen.

Der letzte Schritt fordert eine globale Koordination. Die USA und ihre Verbundeten sollten versuchen, sich mit autoritaren Regierungen, vor allem China, abzustimmen. Obwohl Amodei die starken Grenzen einer solchen Diplomatie eingesteht, hofft er auf zumindest grundlegende Vereinbarungen, wie das Verbot der Nutzung von KI fur die Entwicklung biologischer Waffen.

Sicherheitsappell oder Marktabschottung?

Amodei argumentiert, dass Modelle zunehmend in der Lage sind, die nachste KI-Generation aufzubauen, und verweist auf Vorfalle wie den jungsten Hack zwischen OpenAI und Hugging Face. Das Timing ist jedoch bemerkenswert, da es kurz nach dem Rucktritt des Forschers Jacob Coxon bei Anthropic kommt. Dieser hatte behauptet, dass KI-Unternehmen mit unserem Leben spielen und interne Sicherheitswarnungen ignorieren.

Kritiker haben eine andere Erklarung fur den plotzlichen Wunsch nach Entschleunigung. Der Journalist Brian Merchant argumentierte, es gebe keine glaubwurdigen Beweise dafur, wie die heutige KI dazu ubergehen soll, die Menschheit zu zerstoren. Er vermutet, dass die Pflicht zu eingebetteten Evaluatoren fur alle Spitzenlabore letztlich nur Anthropic und OpenAI nutzen wird, um kleinere Konkurrenten aus dem Markt zu drangen - ein Lehrbuchbeispiel fur Regulatory Capture.

Der wahre Test ist die Unabhangigkeit der Prufer im Krisenfall

Ob dies ein wirksamer Schutz oder nur Compliance-Theater wird, hangt vom ersten echten Konflikt ab. Der entscheidende Faktor wird sein, ob diese eingebetteten Evaluatoren die Befugnis haben, ihre Ergebnisse sofort und unzensiert zu veroffentlichen, wenn ein Unternehmen eine Warnung ignoriert. Solange sie kein Vetorecht gegen die Veroffentlichung eines Modells haben, bleiben sie blose Beobachter ohne Druckmittel.

Liliths Urteil

Der Sicherheitsappell ist auch ein Meisterstuck der Marktabschottung. Er verwandelt massive Sicherheitskosten in eine Markteintrittsbarriere, die sich kleine Open-Source-Labore niemals leisten konnen.