Lilith.
⌕
Redakční ilustrace: Bez dobrého měřidla je bezpečnost modelu jen číslo v prezentaci
Ilustrace Lilith · redakční remix

Anthropic shrnul deset doporučení pro bezpečnostní evaly, které rozhodují o nasazení modelu, doprovodných ochranách i dalším tréninku. Text staví na zkušenostech firmy se system cards a na poučení z replikační krize v psychologii.

Deset doporučení mění eval z benchmarku na měřicí proces

Bezpečnostní eval podle Anthropic neměří jen schopnost splnit úkol. Zkoumá, zda odpověď zvyšuje riziko újmy a zda model v dané situaci jedná přiměřeně. Proto firma doporučuje zapojit doménové i metodologické odborníky, předem vymezit měřený jev, preregistrovat analýzu a úplně popsat konfiguraci.

Praktický rozdíl ukazuje sebevražedné a sebepoškozující chování. Prosté odmítnutí může vypadat bezpečně, ale člověku v krizi nepomůže. Anthropic proto hodnotí celé vícekrokové rozhovory podle rubric vytvořených odborníky a jediný nebezpečný tah může znehodnotit celý průběh.

Skóre bez stejného graderu a konfigurace nelze poctivě srovnávat

Výsledek mění prompt, pořadí odpovědí, produktové prostředí i model použitý jako grader. Anthropic uvádí, že u testu Claude Fable 5.1 činil rozdíl mezi API a claude.ai až 34 procentních bodů. Takové dvě hodnoty nepopisují čistý rozdíl mezi modely, protože se změnilo více podmínek zároveň.

Pro týmy, které vybírají nebo schvalují model, z toho plyne nepříjemná povinnost: ukládat verze promptů, graderů, sampling i datum běhu. Bez této stopy se bezpečnostní dashboard snadno změní v barevnou tabuli bez auditní hodnoty.

Nasycené testy a sebejistý grader umějí vyrobit falešný klid

Jednokolové testy Anthropic dosahují u novějších modelů 94 až 98 %, zatímco vícekrokové scénáře se rozcházejí výrazněji. Firma doporučuje nejméně 100 položek pro složitý vícekrokový eval a 1 000 pro jednodušší jednokolový test. Zároveň požaduje porovnat grader s lidskými štítky a nahlas vyřadit položku, když grader selže.

Ani velký rozdíl nemusí něco dokazovat. U evalů romantických podvodů získaly Opus 5 a Opus 5.5 hodnoty 98 % a 94 %, rozdíl však nebyl statisticky významný. Titulek s vyšším číslem by zde předběhl data.

O důvěryhodnosti rozhodnou opakovatelné běhy a zveřejněná nejistota

Nejužitečnější kontrola bude prostá: zda jiný tým dokáže stejný běh zopakovat a dojít ke srovnatelnému závěru. Anthropic doporučuje uvádět intervaly spolehlivosti, rozpad výsledků podle kategorií a odchylky od předem zapsaného plánu.

Pro nákupčí i vývojáře je to lepší filtr než další žebříček. Bez popisu vzorku, graderu a prostředí je bezpečnostní skóre tvrzení dodavatele. S nimi se z něj může stát podklad pro rozhodnutí.

Lilithin verdikt

Bezpečnostní skóre bez rodokmenu je jako laboratorní vzorek bez štítku: vypadá vědecky, ale nikdo rozumný podle něj nerozhodne o nasazení modelu.