Was Prüfer sehen müssen: OpenAI detailliert Bedingungen für unabhängige KI-Tests

Eine neue Ebene der externen Prüfung

OpenAI hat einen Rahmen für die Zusammenarbeit mit unabhängigen Prüfern eingeführt. Das Dokument „Prioritäten und Prinzipien für effektive Bewertungen durch Dritte“ (Priorities and Principles for Effective Third-Party Assessments) skizziert die Bedingungen für die Überprüfung von Sicherheitsmechanismen. Das Unternehmen verspricht weitreichenden Zugang zu Informationen aus dem Training, der Bewertung und dem Einsatz von Modellen, einschließlich vertraulicher Vorfallsdaten.

Ziel ist es, externen Experten zu ermöglichen, die Annahmen von OpenAI in Frage zu stellen, übersehene Risiken zu identifizieren und eigene Schlüsse über die Wirksamkeit von Sicherheitsvorkehrungen zu ziehen. Zuvor fanden solche Audits in Form von Ad-hoc-Partnerschaften statt; der neue Rahmen soll die Zusammenarbeit systematisieren und mit bestehenden Methoden aus dem Preparedness Framework verknüpfen.

Vier Prioritäten für unabhängige Audits

Das Dokument definiert vier Hauptbereiche, auf die sich externe Bewertungen konzentrieren sollten. Der erste ist eine umfassende Bewertung von Sicherheitsfällen (Safety Cases) während des Trainings, der internen Bereitstellung und der öffentlichen Veröffentlichung. Die zweite Priorität sind kritische Schutzmaßnahmen (Safeguards), die auf Schwachstellen und Robustheit gegen gezielte Angriffe evaluiert werden sollen, beispielsweise in den Bereichen Cybersicherheit und Bioterrorismus.

Der dritte Bereich umfasst Bewertungen der Fähigkeiten (Capability Evaluations), insbesondere solcher, die die Risiken der rekursiven Selbstverbesserung (RSI) überwachen. Die letzte Priorität ist die unabhängige Untersuchung kritischer Vorfälle (Misalignment Incidents), bei denen sich das Modell unerwartet verhalten hat, ohne Autorisierung handelte oder sich der Aufsicht entzog. Hier bietet OpenAI eine tiefergehende Analyse der sogenannten Gedankenkette (Chain of Thought) des Modells an.

Unabhängigkeit erfordert Sicherheit und Expertise

Laut OpenAI ist eine strikte Trennung von Interessen eine Schlüsselbedingung für ein erfolgreiches Audit. Die Gutachter müssen technische Expertise nachweisen und dürfen keine Interessenkonflikte haben. Im Gegenzug verlangt das Unternehmen von ihnen, den Zugang zu sensiblen Daten abzusichern. Wenn Prüfer die internen Standards nicht erfüllen können, finden die Tests physisch an OpenAI-Geräten oder in OpenAI-Räumlichkeiten statt.

Ein weiteres Prinzip ist die Transparenz der Ergebnisse, auch wenn eine vollständige Offenlegung der Erkenntnisse nicht immer möglich ist. Der Methodik zufolge sollten Auditberichte klar zwischen feststehenden Fakten und Interpretationen unterscheiden und zusätzlich spezifische Abhilfemaßnahmen empfehlen.

Der Weg zu transparenteren Modellen

Die Veröffentlichung des Dokuments zeigt das Bemühen von OpenAI, einen Standard dafür zu setzen, wie die Überprüfung der leistungsfähigsten Sprachmodelle aussehen wird. Externe Sicherheitsaudits gehen von freiwilligen Initiativen in feste Richtlinien über.

Die Bereitschaft, sensible Vorfälle mit unabhängigen Dritten zu teilen, ist ein wichtiges Signal für Institutionen, die zukünftige Gesetze vorbereiten. Ob dies jedoch die Aufsicht realistischerweise stärkt, wird von der Fähigkeit unabhängiger Labore abhängen, komplexen Code in Echtzeit zu analysieren und in Frage zu stellen, während die Modelle Schichten neuer Fähigkeiten ansammeln.

Liliths Urteil

Freiwilliger Zugang zum Labor klingt großzügig, bis man erkennt, dass die einzige Alternative staatlicher Zwang ist. OpenAI schreibt einfach die Audit-Regeln, bevor es jemand anderes für sie tut.