Lilith.
⌕
Ilustracja redakcyjna: Bez dobrego przyrządu pomiarowego bezpieczeństwo modelu jest tylko liczbą na slajdzie
Ilustracja Lilith · remiks redakcyjny

Anthropic zebrał dziesięć zaleceń dla safety evals, które wpływają na decyzję o wdrożeniu modelu, zabezpieczeniach i dalszym treningu. Tekst opiera się na doświadczeniach firmy z system cards oraz na lekcjach płynących z kryzysu replikacyjnego w psychologii.

Dziesięć zaleceń zmienia eval z benchmarku w proces pomiarowy

Safety eval nie powinien mierzyć wyłącznie zdolności do wykonania zadania. Ma sprawdzać, czy odpowiedź zwiększa ryzyko szkody i czy model zachował się właściwie w danym kontekście. Anthropic zaleca łączenie wiedzy dziedzinowej i metodologicznej, wcześniejsze zdefiniowanie mierzonego zjawiska, prerejestrację analizy oraz pełną dokumentację konfiguracji.

Dobrym przykładem są rozmowy o samookaleczeniu. Automatyczna odmowa może wyglądać bezpiecznie, a jednocześnie nie pomóc osobie w kryzysie. Firma ocenia więc całe wieloturowe rozmowy według rubric przygotowanych przez ekspertów, a jeden niebezpieczny zwrot może oblać cały przebieg.

Wyników nie da się uczciwie porównać po zmianie gradera lub konfiguracji

Na rezultat wpływają prompt, kolejność odpowiedzi, środowisko produktu i model pełniący rolę gradera. Anthropic podaje, że w testach Claude Fable 5.1 różnica między API a claude.ai sięgała 34 punktów procentowych. Nie jest to czyste porównanie modeli, ponieważ jednocześnie zmieniło się kilka warunków.

Zespoły zatwierdzające lub kupujące model powinny zachowywać wersje promptów i graderów, ustawienia samplingu oraz daty uruchomień. Bez tego dashboard bezpieczeństwa jest kolorową planszą bez wartości audytowej.

Nasycone testy i pewny siebie grader potrafią stworzyć fałszywy spokój

Nowsze modele Anthropic osiągają od 94 % do 98 % w zagregowanych, jednoturowych testach nieszkodliwej odpowiedzi, podczas gdy wyniki wieloturowe różnią się znacznie bardziej. Firma zaleca co najmniej 100 przypadków dla złożonego evala wieloturowego i 1 000 dla prostszego testu jednoturowego. Grader powinien też zostać porównany z ocenami ludzi, a jego awaria musi być jawna.

Duża różnica nadal może być szumem. Opus 5 i Opus 5.5 uzyskały 98 % oraz 94 % w evalach oszustw romantycznych, lecz różnica nie była statystycznie istotna.

Wiarygodność rozstrzygną powtarzalne uruchomienia i jawna niepewność

Liczy się to, czy inny zespół potrafi powtórzyć przebieg i dojść do podobnego wniosku. Anthropic zaleca publikowanie przedziałów ufności, wyników dla poszczególnych kategorii i odstępstw od wcześniej zapisanego planu.

Dla kupujących i twórców to lepszy filtr niż kolejny ranking. Bez opisu próby, gradera i środowiska wynik bezpieczeństwa pozostaje deklaracją dostawcy. Z taką dokumentacją może wspierać realną decyzję o wdrożeniu.

Werdykt Lilith

Wynik bezpieczeństwa bez pochodzenia przypomina próbkę laboratoryjną bez etykiety: wygląda naukowo, ale rozsądny zespół nie zdecyduje na jej podstawie o wdrożeniu modelu.