2026-11-13 · ← Aktualności
Model spec ma określać zachowanie AI. Nowe ramy wymagają też testów, wersjonowania i niezależnej kontroli
Safe AI Forum opublikowało ramy model specs przygotowane przez autorów z instytucji zachodnich i chińskich. Dokument wyróżnia 6 elementów specyfikacji oraz zaleca publiczne wersjonowanie, pomiary zgodności i dostęp dla niezależnych ewaluatorów.
Nie udało się wczytać obrazu.
Safe AI Forum opublikowało raport Emerging International Best Practices for AI Model Specs. Autorzy z 13 organizacji opisują, jak firmy powinny pisać, publikować, wdrażać i oceniać zasady pożądanego zachowania modeli. Chodzi o to, by publiczna obietnica dotycząca działania AI stała się dokumentem przydatnym w treningu, testach i sporach o konkretne decyzje.
Sześć elementów przekłada wartości na zasady, które można sprawdzić
Ramy dzielą model spec na 6 elementów: zakres, cele twórcy, ograniczenia, zasady, styl komunikacji oraz reguły rozstrzygania konfliktów między instrukcjami. Zakres powinien wskazywać, których modeli dotyczy dokument, jak firma mierzy zgodność i czy te same zasady obejmują systemy używane wewnętrznie.
Raport opiera się na publicznych dokumentach OpenAI, Anthropic i Alibaby oraz na rozmowach z twórcami modeli. Opisuje 4 etapy: przygotowanie specyfikacji, jej publikację i aktualizację, wykorzystanie w treningu oraz pomiar faktycznego zachowania. Całość zamyka 12 zaleceń dla firm, rządów, badaczy i organizacji społecznych.
Publiczny dokument ma połączyć inżynierów, prawników i zewnętrznych ewaluatorów
W firmie model spec może być wspólnym punktem odniesienia dla zespołów engineering, product, legal i policy. Pozwala odróżnić dwa rodzaje błędów: źle sformułowaną zasadę oraz model, który nie wykonał poprawnie napisanej zasady. Dokument może też kierować tworzeniem danych treningowych i safeguards.
Dla opinii publicznej ważniejsza jest możliwość zestawienia deklarowanego zachowania z wynikami. Autorzy zalecają publiczne wersjonowanie, wyraźne oznaczanie zmian, wyniki rozbite według poszczególnych reguł i ryzyk oraz dostęp niezależnych ewaluatorów do modeli używanych wewnętrznie. Wskazują również, że Measure 7.1 części bezpieczeństwa dobrowolnego GPAI Code of Practice wymaga od sygnatariuszy raportu obejmującego zasady, priorytety instrukcji, tematy odmów oraz system prompt dla modeli o ryzyku systemowym.
Spisane zasady nie pokazują jeszcze, co model naprawdę zrobi
Raport zaznacza, że według cytowanych badań czołowe modele mogą przestrzegać swoich specs jedynie w 70 do 80 % przypadków. Jedna zbiorcza ocena może też ukryć zasadniczą różnicę między uprzejmym tonem a błędem przy nieodwracalnym działaniu. Autorzy oczekują więc wyników dla poszczególnych zapisów, opisu wyjątków i luk w pokryciu testami.
Pozostaje również problem władzy. Specyfikację zazwyczaj pisze firma, która sprzedaje model, a wewnętrzny proces zatwierdzania jest nieprzejrzysty. Publiczny dokument ujawnia zamiar, lecz bez dostępu do modelu, pracowników i istotnych informacji wewnętrznych zewnętrzny ewaluator nie sprawdzi, co faktycznie trafiło do treningu i produkcji.
Publiczna historia zmian i powtarzalne evals zdecydują o znaczeniu specs
Ramy nabiorą znaczenia, jeśli firmy wskażą objęte nimi wersje modeli, oznaczą istotne zmiany i opublikują evals możliwe do powtórzenia przez niezależnych badaczy. Mocnym sygnałem będzie też ujawnianie odstępstw dla modeli wewnętrznych oraz zdarzeń, które doprowadziły do zmiany zasad.
Kolejne pytanie dotyczy przejścia od model specs do system specs. Na zachowanie produktu wpływają również system prompty, filtry, narzędzia i uprawnienia. W przypadku agenta, który może działać na cudzym koncie lub wydawać pieniądze, dokument opisujący wyłącznie model pozostanie tylko fragmentem mapy.
Werdykt Lilith
Model spec przypomina rozkład jazdy, który przewoźnik nadal sam pisze i sam kontroluje. Zaufanie zacznie się wtedy, gdy pasażer zobaczy opóźnienia, zmiany trasy i protokół niezależnego kontrolera.