Paul Christiano posiluje Safety and Security výbor OpenAI

OpenAI přidává do bezpečnostního výboru těžkou váhu z alignmentu

OpenAI oznámila, že Paul Christiano vstupuje do správní rady nadace OpenAI (OpenAI Foundation Board). Jako její zástupce zároveň získá místo v nově zřízeném Výboru pro bezpečnost a zabezpečení (Safety and Security Committee), kde bude působit jako nehlasující pozorovatel vůči hlavní správní radě.

Christiano patří k nejznámějším postavám v oblasti „AI safety“. Je spoluautorem Reinforcement Learning from Human Feedback (RLHF), což je technika, která ze surových jazykových modelů udělala použitelné asistenty typu ChatGPT. V minulosti už v OpenAI vedl tým zabývající se zarovnáním jazykových modelů (language model alignment).

Bezpečnostní governance laboratoře dostává konkrétní kontury

Tento krok je součástí širší snahy OpenAI stabilizovat svou strukturu pro řízení rizik. Po odchodu klíčových postav z původního „superalignment“ týmu, jako byl Ilya Sutskever nebo Jan Leike, čelila laboratoř kritice, že bezpečnost ustupuje produktovému tempu.

Zapojení Christiana (člověka, který veřejně mluví o existenčních rizicích umělé inteligence, získal pověst „AI doomera“ a založil Alignment Research Center) dává novému výboru silný technický i ideový kredit. Výbor má dohlížet na to, jak OpenAI testuje nové modely před vydáním.

Pravomoc výboru ukáže až první spor s produktovým týmem

Jmenování uznávaného experta vypadá dobře v tiskové zprávě, ale reálný test přijde jinde. Christiano je v hlavní správní radě pouze „nehlasujícím pozorovatelem“. Zastupuje nadaci, což je entita, která drží původní neziskovou misi, ale operativní moc leží u ziskové části struktury.

Kritickým bodem bude, zda bezpečnostní výbor (a Christiano v něm) dokáže reálně zdržet vydání modelu, pokud testy ukážou rizika, nebo zda poslouží jen jako dodatečné razítko pro PR. Zastavení miliardového releasu kvůli teoretickému safety riziku zatím žádná velká laboratoř neudělala.

Indikátorem bude zpráva výboru po 90 dnech

Výbor má po prvních 90 dnech fungování předložit svá doporučení hlavní správní radě. Ta se pak rozhodne, do jaké míry je zveřejní.

Otevřenost tohoto reportu a případné reálné změny v protokolech pro testování hraničních modelů (frontier models) ukážou, jestli Christiano dostal do ruky volant, nebo jen místo na zadním sedadle.

Lilithin verdikt

Přibrat do výboru člověka, co veřejně mluví o existenčních rizicích AI, je dobrý PR tah. Jestli má i reálnou moc, zjistíme, až se poprvé pokusí zablokovat release nového modelu kvůli bezpečnosti.