Lilith.
⌕
Redaktionelle Illustration: Eine Model Spec soll das Verhalten von KI festlegen. Ein neuer Rahmen fordert auch Tests, Versionierung und unabhängige Kontrolle
Illustration von Lilith · redaktioneller Remix

Das Safe AI Forum hat die Studie Emerging International Best Practices for AI Model Specs veröffentlicht. Autoren aus 13 Organisationen beschreiben, wie Unternehmen Regeln für erwünschtes Modellverhalten verfassen, veröffentlichen, umsetzen und prüfen können. Aus einem öffentlichen Versprechen zum KI-Verhalten soll ein Dokument werden, das Training, Tests und Auseinandersetzungen über konkrete Entscheidungen unterstützt.

Sechs Bestandteile machen aus Werten überprüfbare Regeln

Der Rahmen gliedert eine Model Spec in 6 Bestandteile: Geltungsbereich, Ziele des Entwicklers, Grenzen, Prinzipien, Kommunikationsstil und Regeln für Konflikte zwischen Anweisungen. Der Geltungsbereich soll nennen, für welche Modelle das Dokument gilt, wie das Unternehmen die Einhaltung prüft und ob dieselben Grundsätze auch interne Systeme abdecken.

Die Studie stützt sich auf öffentliche Dokumente von OpenAI, Anthropic und Alibaba sowie auf Gespräche mit Entwicklern. Sie beschreibt 4 Schritte: die Spezifikation verfassen, veröffentlichen und aktualisieren, ins Training übertragen und das tatsächliche Verhalten messen. Am Ende stehen 12 Empfehlungen für Unternehmen, Regierungen sowie Forschungs- und Zivilgesellschaftsorganisationen.

Ein öffentliches Dokument soll Entwickler, Juristen und externe Prüfer verbinden

Innerhalb eines Unternehmens kann eine Model Spec als gemeinsame Referenz für Engineering, Produkt, Recht und Policy dienen. Sie hilft, zwei verschiedene Fehler zu unterscheiden: eine mangelhaft formulierte Regel und ein Modell, das eine sinnvolle Regel nicht befolgt. Das Dokument kann außerdem Trainingsdaten und Safeguards beeinflussen.

Für die Öffentlichkeit ist der Vergleich zwischen angekündigtem Verhalten und Ergebnissen wichtiger. Die Autoren empfehlen öffentliche Versionierung, klar markierte Änderungen, nach Regel und Risiko aufgeschlüsselte Ergebnisse sowie Zugang unabhängiger Prüfer zu intern eingesetzten Modellen. Sie weisen zudem darauf hin, dass Measure 7.1 des Sicherheitskapitels im freiwilligen GPAI Code of Practice von Unterzeichnern einen Bericht über Prinzipien, Prioritäten zwischen Anweisungen, Ablehnungsthemen und den System Prompt für Modelle mit systemischem Risiko verlangt.

Geschriebene Regeln zeigen noch nicht, was das Modell tatsächlich tut

Laut der in der Studie zitierten Forschung halten führende Modelle ihre Specs möglicherweise nur in 70 bis 80 % der Fälle ein. Eine einzige Gesamtwertung kann zudem den entscheidenden Unterschied zwischen höflicher Sprache und einem Fehler bei einer unumkehrbaren Handlung verdecken. Die Autoren fordern daher Ergebnisse für einzelne Bestimmungen, dokumentierte Ausnahmen und Grenzen der Testabdeckung.

Hinzu kommt ein Machtproblem. Meist verfasst das Unternehmen, das das Modell verkauft, auch dessen Spezifikation. Interne Freigabeprozesse bleiben undurchsichtig. Ein öffentliches Dokument legt Absichten offen, doch ohne Zugang zum Modell, zu Beschäftigten und zu relevanten internen Informationen kann ein externer Prüfer nicht feststellen, was tatsächlich in Training und Produktion gelangt ist.

Öffentliche Änderungsprotokolle und wiederholbare Evals entscheiden über den Wert

Der Rahmen gewinnt an Gewicht, wenn Unternehmen die betroffenen Modellversionen nennen, wesentliche Änderungen markieren und Evals veröffentlichen, die unabhängige Forscher wiederholen können. Noch aussagekräftiger wären offengelegte Abweichungen interner Modelle und dokumentierte Vorfälle, die eine Regeländerung ausgelöst haben.

Als Nächstes stellt sich die Frage nach dem Übergang von Model Specs zu System Specs. Auch System Prompts, Filter, Werkzeuge und Berechtigungen prägen das Produktverhalten. Bei einem Agenten, der in fremden Konten handeln oder Geld ausgeben kann, bleibt ein Dokument über das Modell allein nur ein Teil der Landkarte.

Liliths Urteil

Eine Model Spec ist ein Fahrplan, den der Betreiber bislang selbst schreibt und kontrolliert. Vertrauen beginnt, wenn Fahrgäste Verspätungen, Streckenänderungen und den Bericht eines unabhängigen Prüfers sehen können.