Lilith.
⌕
Redakční ilustrace: Helen Toner vrací AI governance od důvěry v CEO k vymahatelným pravidlům
Ilustrace Lilith · redakční remix

Helen Toner v rozhovoru pro The Verge odmítá představu, že bezpečnost nejvýkonnějších AI systémů lze pojistit charakterem několika šéfů. Bývalá členka správní rady OpenAI mluví z pozice člověka, který hlasoval pro odvolání Sama Altmana a sledoval, jak se Altman vrátil a původní dohled se rozpadl.

OpenAI ukázala, že správní rada bez opory brzdu neudrží

Nezisková správní rada OpenAI měla chránit původní poslání před tlakem růstu a zisku. Když v roce 2023 sáhla k nejtvrdšímu zásahu, odvolání CEO, rozhodnutí nevydrželo. Toner říká, že by hlasovala stejně znovu, ale zároveň přiznává, že rada mohla vybudovat pevnější vztahy s vedením firmy.

Její hlavní teze proto není osobní soud nad jedním manažerem. Pokud budoucnost závisí na důvěryhodnosti jediného člověka, instituce podle Toner selhala už svým návrhem. CSET, které nyní vede, má zhruba 50 lidí a od roku 2019 převádí technická a bezpečnostní témata do podkladů pro americké politiky.

Bezpečnostní prahy musí zpomalit vývoj, když laboratoř nestíhá

Toner popisuje laboratoře, které používají AI ve stále větší části vlastního výzkumu a zároveň nestíhají zavádět všechna známá bezpečnostní opatření. Navrhuje proto jasnou laťku pro posouzení a řízení rizik před tréninkem nebo vydáním dalšího modelu. Kdo ji splní, může pokračovat. Kdo ji nesplní, musí si vzít víc času.

Pro firmy, které AI nakupují, je podstatný posun od slibů k procesu. Odpovědnost se dá kontrolovat jen tehdy, když existují povinné testy, záznam rozhodnutí a někdo mimo produktový tým, kdo může vydání zastavit.

Veřejná firma může přidat dohled i nový tlak na růst

Toner nevidí vstup AI laboratoří na burzu jen jako hrozbu. Veřejné společnosti čelí pevnějším pravidlům správy, reportingu a vnější kontrole než soukromé laboratoře. Současně však čtvrtletní očekávání investorů mohou závod o výkon ještě zrychlit. Rozhodne proto konkrétní pravomoc nezávislých výborů, nikoli jejich název.

Rozhovor zůstává názorem jedné bývalé členky rady, nikoli auditem současné OpenAI. Její zkušenost však nabízí vzácný zátěžový test mechanismu, který měl fungovat právě ve chvíli konfliktu.

První skutečný test přijde při nepohodlném rozhodnutí

Smysl nových pravidel se ukáže, až bezpečnostní výbor odloží drahý model, regulátor si vyžádá nepříjemná data nebo správní rada odmítne plán vedení. Do té doby jsou dobrovolné závazky jen příslibem. Sledovat je třeba zveřejněné prahy, pravomoci nezávislého dohledu a záznamy o tom, kdy skutečně změnil rozhodnutí laboratoře.

Lilithin verdikt

Toner připomíná jednoduchou věc: nouzová brzda se nepozná podle štítku, ale podle toho, zda zastaví vlak i proti vůli strojvedoucího.