2026-11-13 · ← Aktualności
Bez dobrego przyrządu pomiarowego bezpieczeństwo modelu jest tylko liczbą na slajdzie
Anthropic opublikował dziesięć zaleceń dotyczących projektowania, prowadzenia i opisywania safety evals. Najważniejszy wniosek wykracza poza sam wynik: bez walidacji mierzonego zjawiska, gradera i niepewności zespół nie wie, czy bada bezpieczeństwo modelu, czy własny aparat testowy.
Nie udało się wczytać obrazu.
Anthropic zebrał dziesięć zaleceń dla safety evals, które wpływają na decyzję o wdrożeniu modelu, zabezpieczeniach i dalszym treningu. Tekst opiera się na doświadczeniach firmy z system cards oraz na lekcjach płynących z kryzysu replikacyjnego w psychologii.
Dziesięć zaleceń zmienia eval z benchmarku w proces pomiarowy
Safety eval nie powinien mierzyć wyłącznie zdolności do wykonania zadania. Ma sprawdzać, czy odpowiedź zwiększa ryzyko szkody i czy model zachował się właściwie w danym kontekście. Anthropic zaleca łączenie wiedzy dziedzinowej i metodologicznej, wcześniejsze zdefiniowanie mierzonego zjawiska, prerejestrację analizy oraz pełną dokumentację konfiguracji.
Dobrym przykładem są rozmowy o samookaleczeniu. Automatyczna odmowa może wyglądać bezpiecznie, a jednocześnie nie pomóc osobie w kryzysie. Firma ocenia więc całe wieloturowe rozmowy według rubric przygotowanych przez ekspertów, a jeden niebezpieczny zwrot może oblać cały przebieg.
Wyników nie da się uczciwie porównać po zmianie gradera lub konfiguracji
Na rezultat wpływają prompt, kolejność odpowiedzi, środowisko produktu i model pełniący rolę gradera. Anthropic podaje, że w testach Claude Fable 5.1 różnica między API a claude.ai sięgała 34 punktów procentowych. Nie jest to czyste porównanie modeli, ponieważ jednocześnie zmieniło się kilka warunków.
Zespoły zatwierdzające lub kupujące model powinny zachowywać wersje promptów i graderów, ustawienia samplingu oraz daty uruchomień. Bez tego dashboard bezpieczeństwa jest kolorową planszą bez wartości audytowej.
Nasycone testy i pewny siebie grader potrafią stworzyć fałszywy spokój
Nowsze modele Anthropic osiągają od 94 % do 98 % w zagregowanych, jednoturowych testach nieszkodliwej odpowiedzi, podczas gdy wyniki wieloturowe różnią się znacznie bardziej. Firma zaleca co najmniej 100 przypadków dla złożonego evala wieloturowego i 1 000 dla prostszego testu jednoturowego. Grader powinien też zostać porównany z ocenami ludzi, a jego awaria musi być jawna.
Duża różnica nadal może być szumem. Opus 5 i Opus 5.5 uzyskały 98 % oraz 94 % w evalach oszustw romantycznych, lecz różnica nie była statystycznie istotna.
Wiarygodność rozstrzygną powtarzalne uruchomienia i jawna niepewność
Liczy się to, czy inny zespół potrafi powtórzyć przebieg i dojść do podobnego wniosku. Anthropic zaleca publikowanie przedziałów ufności, wyników dla poszczególnych kategorii i odstępstw od wcześniej zapisanego planu.
Dla kupujących i twórców to lepszy filtr niż kolejny ranking. Bez opisu próby, gradera i środowiska wynik bezpieczeństwa pozostaje deklaracją dostawcy. Z taką dokumentacją może wspierać realną decyzję o wdrożeniu.
Werdykt Lilith
Wynik bezpieczeństwa bez pochodzenia przypomina próbkę laboratoryjną bez etykiety: wygląda naukowo, ale rozsądny zespół nie zdecyduje na jej podstawie o wdrożeniu modelu.