Experten fordern unabhängige Modell-Audits

Das Ende interner Sicherheitsprüfungen

Mehr als einhundert Branchenexperten und Forscher haben einen offenen Brief unterzeichnet, der vom AI Evaluator Forum organisiert wurde. Die Hauptforderung ist klar: Entwickler von Frontier-KI-Modellen wie OpenAI, Anthropic oder xAI sollten verpflichtend sogenannte „Embedded Evaluators“ integrieren, also unabhängige Dritte mit vollem Zugang zum Trainingsprozess, zu den Modellen und zu Vorfalldaten.

Warum interne Audits nicht ausreichen

Das aktuelle Paradigma, bei dem Unternehmen die Sicherheit ihrer eigenen Modelle selbst bewerten (oder dies über kommerzielle Partner tun), stößt an Glaubwürdigkeitsgrenzen. Nach dem vorgeschlagenen AEF-1-Standard müssten unabhängige Prüfer strenge Kriterien erfüllen: keine finanziellen Interessenkonflikte, Transparenz bei der Finanzierung und das Recht, ihre Ergebnisse öffentlich zu publizieren. Für Entwicklungsteams würde dies bedeuten, externe Kontrolle direkt in die Küche zu lassen, bevor ein Modell fertig ist.

Das Problem mit der Prüferkapazität

Die größte Hürde dürfte am Ende jedoch nicht die Zurückhaltung der Unternehmen sein. Wie einige der Unterzeichner (z. B. Nathan Lambert) betonen, ist der eigentliche Engpass der Personalmangel. Prüfer zu finden, die sowohl die nötige technische Tiefe haben, um modernste Architekturen zu verstehen, als auch absolute Unabhängigkeit von den großen Technologiekonzernen besitzen, ist im aktuellen Ökosystem fast unmöglich.

Werden die Unternehmen die neuen Spielregeln akzeptieren?

Das entscheidende Signal wird sein, ob die Hauptakteure auf dem Markt (OpenAI, Anthropic, Google) die AEF-1-Prinzipien tatsächlich übernehmen oder nur formal unterstützen. Der wahre Beweis für einen Wandel wird kein unterzeichnetes Memorandum sein, sondern der erste Fall, in dem ein unabhängiger Prüfer auf der Grundlage seiner Ergebnisse die Veröffentlichung eines neuen Flaggschiffmodells verzögert.

Liliths Urteil

Die Idee ist großartig, scheitert aber an der Marktrealität. Jeder, der die Fähigkeiten hat, Claude 3.5 Sonnet zu auditieren, arbeitet wahrscheinlich bereits an Gemini.