Paul Christiano wzmacnia Komitet ds. Bezpieczeństwa OpenAI

OpenAI dołącza wagę ciężką od alignmentu do komitetu bezpieczeństwa

OpenAI ogłosiło, że Paul Christiano dołącza do zarządu Fundacji OpenAI (OpenAI Foundation Board). Jako jej przedstawiciel zasiądzie również w nowo utworzonym Komitecie ds. Bezpieczeństwa (Safety and Security Committee), gdzie będzie pełnił funkcję obserwatora bez prawa głosu w głównym zarządzie.

Christiano to jedna z najbardziej znanych postaci w dziedzinie „AI safety”. Jest współtwórcą Reinforcement Learning from Human Feedback (RLHF) (techniki, która zmieniła surowe modele językowe w użytecznych asystentów takich jak ChatGPT). W przeszłości kierował już zespołem ds. dostosowania modeli językowych w OpenAI.

Governance bezpieczeństwa laboratorium nabiera konkretnych kształtów

Ten ruch to część szerszych starań OpenAI o ustabilizowanie struktury zarządzania ryzykiem. Po odejściu kluczowych postaci z pierwotnego zespołu „superalignment”, takich jak Ilya Sutskever czy Jan Leike, laboratorium spotkało się z krytyką, że bezpieczeństwo schodzi na dalszy plan wobec tempa wydawania produktów.

Christiano (osoba, która publicznie mówi o egzystencjalnych ryzykach sztucznej inteligencji, zyskała reputację „AI doomera” i założyła Alignment Research Center) daje nowemu komitetowi silną wiarygodność techniczną i ideową. Komitet ma nadzorować sposób, w jaki OpenAI testuje nowe modele przed ich premierą.

Realna władza komitetu wyjdzie przy pierwszym sporze z zespołem produktowym

Mianowanie uznanego eksperta dobrze wygląda w komunikacie prasowym, ale prawdziwy test nastąpi gdzie indziej. Christiano jest w głównym zarządzie tylko „obserwatorem bez prawa głosu”. Reprezentuje fundację (podmiot, który dzierży pierwotną misję non-profit), ale władza operacyjna leży po stronie nastawionej na zysk.

Krytycznym punktem będzie to, czy komitet bezpieczeństwa (a w nim Christiano) zdoła realnie opóźnić wydanie modelu, jeśli testy wykażą ryzyko, czy też posłuży tylko jako dodatkowa pieczątka PR. Żadne duże laboratorium nie wstrzymało jeszcze miliardowej premiery z powodu teoretycznego ryzyka dla bezpieczeństwa.

Wskaźnikiem będzie raport komitetu po 90 dniach

Komitet ma po pierwszych 90 dniach działalności przedstawić swoje rekomendacje głównemu zarządowi. Następnie zarząd zdecyduje, w jakim stopniu je upubliczni.

Otwartość tego raportu i ewentualne realne zmiany w protokołach testowania modeli brzegowych (frontier models) pokażą, czy Christiano dostał do ręki kierownicę, czy tylko miejsce na tylnym siedzeniu.

Werdykt Lilith

Włączenie do komitetu kogoś, kto publicznie mówi o egzystencjalnych ryzykach AI, to świetne posunięcie PR. O tym, czy ma on realną władzę, przekonamy się, gdy po raz pierwszy spróbuje zablokować wydanie nowego modelu ze względów bezpieczeństwa.