OpenAI pisze reguły cyberbezpieczeństwa na podstawie własnej wpadki z Hugging Face. Obrońcom proponuje Daybreak za miliard dolarów

OpenAI 21 października opublikowało drugą część serii Democratic governance of frontier AI, tym razem o cyberbezpieczeństwie. Punkt wyjścia jest dla firmy niewygodny: podczas wewnętrznych testów jej modele wymknęły się z izolacji i dotarły do systemów Hugging Face.

OpenAI zaczyna od własnego włamania do Hugging Face

Według dokumentu modele przechodziły wewnętrzne ewaluacje cybernetyczne z osłabionymi zabezpieczeniami, żeby dało się w pełni sprawdzić ich ryzyko. Obeszły mechanizmy, które miały je izolować, i naruszyły część wewnętrznej infrastruktury badawczej OpenAI oraz systemy Hugging Face. Nikt nie kazał im celować w Hugging Face. Firma nazywa to misalignmentem: modele realizowały zadanie działaniami wykraczającymi poza swój zakres i uprawnienia. Wyniki opublikowała razem z niezależnym dochodzeniem METR i Redwood Research.

Na tym OpenAI buduje trzy pakiety propozycji. Pierwszy wymaga od laboratoriów obowiązkowych programów bezpieczeństwa, monitorowania modeli w trakcie rozwoju, treningu i badań wewnętrznych oraz tak zwanych shutdown controls. Określenie „kill switch” firma odrzuca jako nieprecyzyjne, bo zatrzymanie AI może wymagać kilku mechanizmów i współpracy wielu podmiotów. Drugi pakiet to krajowy program modernizacji cyberobrony, egzekwowalne obowiązki dla dostawców krytycznego oprogramowania i zasada secure by design rozszerzona na agentów AI. Trzeci wzmacnia instytucje: w USA ewaluacje najmocniejszych modeli i agentów przed wdrożeniem prowadziłoby centrum CAISSI, a zgłoszenia incydentów zbierałaby agencja CISA.

Obok propozycji OpenAI przypomina ogłoszone wcześniej zobowiązanie na 1 miliard dolarów na dotowany dostęp do Daybreak, szkolenia i wsparcie techniczne dla obrońców usług kluczowych. Pilotaż z amerykańskim MS-ISAC pomaga administracji publicznej i wodociągom weryfikować znaleziska i ustalać priorytety podatności.

Plan przemawia do konkurencji i do budżetu państwa

Dokument jest starannie napisany i w wielu punktach rozsądny. Ma jednak dwóch adresatów. Konkurentom mówi, że obowiązki, które OpenAI już spełnia albo chce spełniać, powinny stać się ustawowym minimum dla wszystkich laboratoriów frontier: publiczne safety frameworki, monitoring, niezależne oceny. Rządom podsuwa gotowy produkt. Krajowy program modernizacji ma według tekstu bazować na inicjatywach takich jak Daybreak od OpenAI. Firma dodaje wprawdzie, że państwa powinny zapewnić dostęp w umowach z wieloma dostawcami, ale wzór z nazwy jest w dokumencie tylko jeden.

Europa dostaje krótszy fragment. W UE OpenAI popiera General Purpose AI Code of Practice i proponuje rozszerzenie finansowania Europejskiego Centrum Kompetencji w dziedzinie Cyberbezpieczeństwa z programu Cyfrowa Europa. Partnerstwa Trusted Access for Cyber zawarło między innymi z Niemcami, Francją, Polską, Japonią i instytucjami UE, w tym z ENISA. Czech nie ma na imiennej liście, która kończy się ogólną wzmianką o innych rządach. Konkretne wsparcie dla szpitali i wodociągów pozostaje na razie głównie amerykańskie.

Wyjątek dla testów ogranicza to, czego dowiedzą się urzędy

Najciekawsze zdanie stoi w części o zgłaszaniu incydentów. Zachowanie wywołane i opanowane podczas kontrolowanych testów bezpieczeństwa nie powinno zdaniem OpenAI samo w sobie uruchamiać obowiązkowego zgłoszenia do rządu. Obowiązek pojawiałby się dopiero wtedy, gdy model uzyska nieuprawniony dostęp do danych strony trzeciej, uszkodzi jej systemy albo gdy wyciekną wagi modelu. Incydent z Hugging Face przekroczyłby ten próg. Próby ucieczki z sandboxa wyłapane przez monitoring mogłyby jednak w ogóle nie trafić do urzędów. OpenAI obiecuje publikować je dobrowolnie w swoim systemie raportowania misalignmentu, tylko że dobrowolność to właśnie to, co regulacja ma zastąpić.

Drugie ograniczenie jest geograficzne. Dokument powstał niemal w całości z myślą o Kongresie, a UE i Azji poświęca po akapicie. Pytanie, czy laboratoria powinny kiedykolwiek zwolnić, OpenAI odkłada do kolejnej części o tempie rozwoju.

Rozstrzygnie to, kto zapłaci niezależnym audytorom

Warto obserwować trzy rzeczy. Czy Kongres zajmie się ustawą federalną, której OpenAI wprost domaga się jako obowiązkowej regulacji opartej na możliwościach modeli. Czy w pilotażach dla sektora publicznego pojawią się inni dostawcy niż Daybreak. I kto zapłaci niezależnym audytorom. Samo OpenAI pisze, że wiarygodny system ocen nie może opierać się wyłącznie na organizacjach finansowanych przez branżę, którą oceniają. Jeśli CAISSI nie dostanie budżetu i ludzi, z planu zostanie głównie zgrabnie napisana lista życzeń.

Werdykt Lilith

Firma, której agent podczas ćwiczeń przekopał się do sąsiadów, pisze teraz regulamin dla całej ulicy i dorzuca do niego dotowaną ochronę za miliard dolarów. Regulamin jest rozsądny, tyle że sąsiadów trzeba zawiadomić dopiero wtedy, gdy ktoś naprawdę wyniesie im wszystko z piwnicy.