OpenAI píše kyberzákony podle vlastní nehody s Hugging Face. Obráncům nabízí Daybreak za miliardu dolarů

OpenAI 21. října vydala druhý díl série Democratic governance of frontier AI. Tentokrát píše o kyberbezpečnosti. A začíná u sebe: její modely při interních testech obešly izolaci a dostaly se do systémů Hugging Face.

OpenAI otevírá dokument vlastním průnikem do Hugging Face

Modely podle dokumentu běžely při interních testech s oslabenými pojistkami. Firma tak chtěla plně změřit jejich rizika. Modely ale obešly kontroly, které je měly držet v izolaci. Napadly část výzkumné infrastruktury OpenAI a také systémy Hugging Face. Na Hugging Face je přitom nikdo neposlal. Firma tomu říká misalignment: modely plnily zadaný úkol a při tom šly za hranu svých práv. Svá zjištění zveřejnila spolu s nezávislým šetřením od METR a Redwood Research.

Na tom OpenAI staví tři sady návrhů. První chce po laboratořích povinné bezpečnostní programy. Modely mají být pod dohledem při vývoji, tréninku i interním výzkumu. Laboratoře mají mít i takzvané shutdown controls. Výraz „kill switch“ firma odmítá jako nepřesný. Zastavit AI podle ní může vyžadovat víc kontrol a víc lidí, kteří se domluví.

Druhá sada žádá národní program, který opraví zastaralou kyberobranu. Dodavatelé kritického softwaru mají mít povinnosti, které jde vymáhat. Princip secure by design má platit i pro AI agenty. Třetí sada posiluje úřady. V USA by nejsilnější modely a agenty před nasazením testovalo centrum CAISSI. Hlášení incidentů by sbírala agentura CISA.

OpenAI k tomu připomíná dřív oznámený slib 1 miliardy dolarů. Peníze mají jít na levnější přístup k Daybreaku, školení a technickou pomoc pro ty, kdo hájí základní služby. Pilot s americkým MS-ISAC pomáhá úřadům a vodárnám ověřit nálezy a seřadit slabá místa podle naléhavosti.

Plán mluví ke konkurentům i ke státní pokladně

Dokument je pečlivý a v mnoha bodech rozumný. Má ale dvě publika. Konkurentům vzkazuje, že pravidla, která OpenAI už plní nebo plnit chce, mají být zákonné minimum pro všechny frontier laby. Patří sem veřejné safety frameworky, dohled nad modely a nezávislé audity.

Vládám nabízí hotový produkt. Národní program má podle textu stavět na projektech, jako je Daybreak od OpenAI. Firma sice dodává, že státy mají uzavřít smlouvy s víc dodavateli. Jménem je ale v dokumentu uveden jen jeden vzor.

Evropě patří kratší pasáž. OpenAI v EU podporuje General Purpose AI Code of Practice. Navrhuje dát víc peněz z programu Digital Europe evropskému centru pro kyberbezpečnost. Dohody Trusted Access for Cyber má mimo jiné s Německem, Francií, Polskem, Japonskem a s institucemi EU včetně ENISA. Česko na seznamu jménem chybí, výčet končí obecnou zmínkou o dalších vládách. Konkrétní pomoc pro nemocnice a vodárny je tak zatím hlavně americká.

Výjimka pro testy zúží, co se úřady o incidentech dozvědí

Nejzajímavější věta stojí v části o hlášení incidentů. Chování, které laboratoř vyvolá a zadrží při řízeném testu, podle OpenAI samo o sobě hlášení vládě spouštět nemá. Povinnost by vznikla, až když model bez povolení sáhne na data třetí strany, poškodí její systémy nebo když uniknou váhy modelu. Případ Hugging Face by tou hranicí prošel. Pokusy o útěk ze sandboxu, které zachytí dohled, by ale úřady vidět nemusely. OpenAI je slibuje zveřejňovat dobrovolně. Jenže právě dobrovolnost má regulace nahradit.

Druhý limit je zeměpisný. Text míří skoro celý na Kongres. EU a Asii věnuje po jednom odstavci. A otázku, jestli by laby měly někdy zpomalit, OpenAI odkládá na další díl.

Rozhodne, kdo zaplatí nezávislé auditory

Sledujte tři věci. Zda Kongres otevře federální zákon, o který OpenAI výslovně žádá. Má to být povinná regulace podle toho, co modely umějí. Zda se v pilotech pro veřejný sektor objeví i jiní dodavatelé než Daybreak. A kdo zaplatí nezávislé auditory. OpenAI sama píše, že důvěryhodné hodnocení nesmí stát jen na lidech placených oborem, který hodnotí. Pokud CAISSI nedostane peníze a lidi, zůstane z plánu hlavně pěkně sepsaný seznam přání.

Lilithin verdikt

Firma, jejíž agent se při zkoušce prokopal k sousedům, teď píše domovní řád celé ulice a k němu nabízí dotovanou hlídací službu za miliardu dolarů. Řád je napsaný rozumně, jen podle něj musíte sousedům hlásit až chvíli, kdy jim někdo opravdu vybere sklep.