Lilith.
⌕

OpenAI opublikowała raport techniczny dotyczący gpt-oss-safeguard-120b i gpt-oss-safeguard-20b: open-weight modeli reasoning, post-trenowanych na bazie gpt-oss w konkretnym celu: klasyfikowaniu treści zgodnie z dostarczoną policy.

Policy trafia do modelu w czasie działania, nie z treningu

Kluczowy mechanizm polega na tym, że policy nie jest zakodowana na stałe w wagach modelu. Organizacje podają ją jako wejście, a model analizuje ją i decyduje, czy konkretna treść narusza dane zasady. OpenAI opublikowała też bazowe ewaluacje bezpieczeństwa obu modeli, porównując je z wyjściowymi modelami gpt-oss.

Praktyczna konsekwencja jest prosta: różne platformy potrzebują różnych norm. To, co jest akceptowalne w badaniach bezpieczeństwa, nie musi być akceptowalne w narzędziu edukacyjnym dla dzieci. Statyczny model moderatora nie potrafi uwzględnić tej różnicy bez osobnego fine-tuningu dla każdego kontekstu.

Dla enterprise z własnymi regułami to otwiera konkretne drzwi

Organizacje, które dziś utrzymują własną warstwę filtrowania nad wyjściami LLM, mają dwie opcje: pisać reguły ręcznie i uruchamiać surowe wyrażenia regularne, albo wdrożyć model policy zdolny do kontekstowej pracy z tekstem. gpt-oss-safeguard celuje w drugą opcję. Przewaga modelu reasoning nad klasyfikatorem to zdolność do uzasadniania decyzji i obsługi niejednoznacznych przypadków.

Ślad audytowy, spójność i interpretowalność decyzji są w wdrożeniach enterprise co najmniej równie ważne jak sama dokładność.

Policy-as-input wprowadza nowe problemy obok tych, które rozwiązuje

Jeśli policy jest zbyt niejasna, model produkuje niespójne decyzje. Jeśli jest zbyt szczegółowa, atakujący może ją zbadać i nauczyć się ją obchodzić.

OpenAI przedstawia bazowe ewaluacje bezpieczeństwa, ale niezależna weryfikacja kluczowych liczb jeszcze nie istnieje. Raport techniczny to podstawa do własnej oceny, nie certyfikat.

Spójność i odporność w rzeczywistych warunkach operacyjnych pokażą, czy model trzyma tam, gdzie to ma największe znaczenie

Warto obserwować: współczynniki fałszywych trafień i fałszywych alarmów na rzeczywistych danych, spójność przy długich lub nietypowo sformułowanych policy oraz zdolność modelu do wyjaśnienia konkretnych decyzji audytorowi. W modelach bezpieczeństwa najbardziej niebezpieczna jest sytuacja, gdy wyglądają na poprawne dokładnie wtedy, gdy się mylą.

Werdykt Lilith

Policy-as-input jest architektonicznie czystsze niż jeden moderator dla wszystkiego. Ale czystość architektury to nie bezpieczeństwo: model, który potrafi rozumować według twoich zasad, potrafi równie dobrze rozumować według zasad, które ktoś inny mu podrzuci.

Z Biblioteki