Co znamená „dobrý“ v AI bezpečnosti? OpenAI chce sdílené standardy, než přijde samouzlepšování

Fragmentace jako hlavní nepřítel

Společnost OpenAI zveřejnila dokument, ve kterém volá po vytvoření mezinárodních standardů pro vývoj takzvané hraniční umělé inteligence (frontier AI). Místo národních zákonů navrhuje globální technický základ pro měření schopností, hodnocení rizik a dostatečnost ochranných opatření. Cílem je odpovědět na otázku, jak vlastně vypadá dostatečná mitigace katastrofických rizik.

Firma upozorňuje na tři klíčové problémy současného stavu. Prvním je fragmentace, kdy různé státy vyžadují odlišné reportování a používají rozdílné definice incidentů. Druhým je kolektivní akce, kde izolované národní přístupy mohou vést k nezamýšleným důsledkům. Třetím je nerovnoměrná kapacita, protože expertiza k hodnocení těchto rizik není globálně rozprostřená rovnoměrně.

Kdo bude určovat pravidla hry

Podle OpenAI by vůdčí roli ve vytváření těchto standardů měly převzít Spojené státy ve spolupráci s dalšími zeměmi. Návrh se opírá o existující sítě, jako je Center for AI Standards and Innovation (CAISI) a národní instituty pro bezpečnost AI v zemích jako Velká Británie, Japonsko nebo Francie.

Standardy nemají být licencemi nebo povinným schvalováním před vydáním modelu. Národní vlády by se samy rozhodly, zda a jak je začlení do svého právního systému. Tento přístup si bere inspiraci z letectví nebo finančního sektoru, kde existují společné technické normy bez ztráty národní suverenity.

Samouzlepšování na obzoru

Zatímco dnešní modely RSI (Recursive Self-Improvement) plně nezvládají, OpenAI upozorňuje, že automatizovaný výzkum se blíží. Jakmile systémy převezmou větší část vývoje, tempo pokroku se může radikálně zrychlit. Pokud tento proces nebude mít jasná pravidla a lidský dohled, hrozí podle firmy ztráta kontroly.

Dokument explicitně zmiňuje nedávný „Hugging Face Incident“ jako ukázku toho, jaká rizika mohou nastat, pokud selžou robustní ochranná opatření. Přestože nešlo přímo o výsledek RSI, ukázal limity současného zabezpečení. Společnost dodává, že plně autonomní RSI dnes neprobíhá a nemělo by se spouštět, dokud nebude zaručena jeho bezpečnost.

Co rozhodne o úspěchu

Odpovědí na fragmentaci má být mimo jiné sdílený protokol pro hlášení incidentů a klasifikaci jejich závažnosti. Kritická infrastruktura a vlády by měly mít zabezpečené komunikační kanály pro sdílení hrozeb.

Úspěch iniciativy bude záviset na tom, jestli se podaří standardy vytvořit transparentně a tak, aby neznevýhodňovaly open-source vývojáře nebo nové hráče na trhu. Rozhodne schopnost navrhnout pravidla, která budou technicky přesná, ale zároveň přijatelná pro firmy i státy s odlišnými zájmy.

Lilithin verdikt

OpenAI de facto staví základy pro moment, kdy bude muset říct americké vládě: „Náš agent už kód píše sám, ale my na něj podle téhle tabulky pořád dohlížíme.“