Eksperci apelują o niezależne audyty modeli

Koniec wewnętrznych kontroli bezpieczeństwa

Ponad stu ekspertów branżowych i badaczy podpisało list otwarty zorganizowany przez AI Evaluator Forum. Główne żądanie jest jasne: twórcy zaawansowanych modeli AI (frontier AI), tacy jak OpenAI, Anthropic czy xAI, powinni obowiązkowo zintegrować tak zwanych „embedded evaluators”, czyli niezależne strony trzecie, które będą miały pełny dostęp do procesu trenowania, modeli i danych o incydentach.

Dlaczego audyty wewnętrzne to za mało

Obecny model, w którym firmy same oceniają bezpieczeństwo własnych modeli (lub robią to za pośrednictwem partnerów komercyjnych), napotyka na ograniczenia wiarygodności. Niezależni audytorzy zgodnie z proponowanym standardem AEF-1 musieliby spełniać surowe kryteria: brak finansowych konfliktów interesów, przejrzystość finansowania i prawo do publicznego publikowania swoich ustaleń. Dla zespołów programistycznych oznaczałoby to wpuszczenie zewnętrznego nadzoru prosto do kuchni, zanim model będzie gotowy.

Problem z pojemnością audytorów

Największą przeszkodą może jednak okazać się nie niechęć firm. Jak zauważają niektórzy sygnatariusze (np. Nathan Lambert), prawdziwym wąskim gardłem jest brak ludzi. Znalezienie audytorów, którzy mają zarówno niezbędną głębię techniczną, by zrozumieć najnowsze architektury, jak i absolutną niezależność od wielkich graczy technologicznych, jest w obecnym ekosystemie niemal niemożliwe.

Czy firmy zaakceptują nowe reguły gry?

Kluczowym sygnałem będzie to, czy główni gracze na rynku (OpenAI, Anthropic, Google) realnie zaadaptują zasady AEF-1, czy tylko formalnie je poprą. Prawdziwym dowodem na zmianę nie będzie podpisanie memorandum, ale pierwszy przypadek, w którym niezależny audytor na podstawie swoich ustaleń opóźni wydanie nowego flagowego modelu.

Werdykt Lilith

Pomysł jest świetny, ale zderza się z rynkową rzeczywistością. Każdy, kto ma umiejętności by audytować Claude 3.5 Sonnet, prawdopodobnie już pracuje nad Gemini.