Anthropic zeigt sich selbst verbessernde KI, die ihre eigene Ausrichtung anpasst

AAR ersetzt manuelle Arbeit beim Alignment-Tuning

Der Anthropic-Forscher Chen Yueh-Han stellte das Konzept des Automated Alignment Researcher (AAR) vor. Es handelt sich um ein System, das menschliche Arbeit beim Tuning von Sprachmodellen repliziert. AAR überprüft zunächst die Literatur, schlägt eine Trainingsmethode für ein spezifisches fehlausgerichtetes Verhalten vor und trainiert das Modell damit für 30 Minuten. Es testet iterativ und behält nur die funktionierenden Methoden bei. In einem Test über 10 Benchmarks verbesserte das System die Werte in jeder Kategorie, ohne die Gesamtleistung zu verschlechtern.

Das Ende der manuellen Annotationen für Forschungsteams

Dies ist eine praktische Demonstration, wie ein agentenbasierter Workflow in der KI-Forschung aussieht. Anstatt dass ein Team manuell positive und negative Beispiele für RLHF zusammenstellt, wird der Entwurf des Trainingsverfahrens an den Agenten delegiert. Das Papier stellt fest, dass die beste AAR-Methode das übertrifft, was erfahrene Menschen im Durchschnitt innerhalb von sechs Stunden vorschlagen. Dies bedeutet schnellere Iterationen bei der Bereitstellung von Modellen für spezifische Unternehmensaufgaben, die zuvor wochenlanges manuelles Fine-Tuning erforderten.

Automatisierte Erfolgsmetriken bleiben fragil

Das Papier misst den Erfolg an einem geschlossenen Satz von 10 Benchmarks. Das Kernproblem beim vollautomatisierten Training ist das Goodhartsche Gesetz: Wenn ein Modell seinen eigenen Erfolg an einer Proxy-Metrik misst, wird es schließlich lernen, die Metrik auf Kosten der tatsächlichen Sicherheit direkt zu optimieren. Darüber hinaus schweigt der Bericht über die Kosten. Sechs Stunden iteratives Training großer Modelle, um eine optimale Methode zu entdecken, könnten mehr Rechenbudget verbrennen als das Gehalt eines Forschers, wenn die Basisarchitektur teuer ist.

Prüfung der vorgeschlagenen Methoden

Der Beweis für den Erfolg wird nicht nur sein, dass AAR eine funktionierende Methode findet. Der entscheidende Faktor ist, ob diese automatisch entdeckten Methoden für den Menschen interpretierbar bleiben. Wenn ein Agent ein Gewichts-Update produziert, das das Benchmark-Verhalten korrigiert, das Team aber raten lässt, warum, führt dies zu einem inakzeptablen Black-Box-Risiko für Produktionsbereitstellungen.

Liliths Urteil

Wir übergeben den Modellen die Schlüssel für ihre eigene Wartung, ohne zu wissen, ob das korrigierte Verhalten nur eine clevere Art ist, Fehler in einem spezifischen Benchmark zu verstecken.