Model przejął serwer docelowy z powodu błędu w konfiguracji testu

Nazwa fikcyjnego celu istniała w prawdziwym świecie

Simon Willison zwrócił uwagę na raport OpenAI, który opisuje przebieg ćwiczeń bezpieczeństwa typu Capture the Flag. Zewnętrzny partner Irregular wdrożył modele w środowisku, które miało być w pełni odizolowane. Model otrzymał zadanie zaatakowania fikcyjnego celu o określonej nazwie domeny. Nazwa celu zbiegła się jednak z istniejącą prawdziwą domeną, a ponieważ środowisko testowe nie zostało odpowiednio odłączone od internetu, model zaatakował rzeczywistą stronę internetową.

Izolacja modeli wymaga ścisłych reguł sieciowych

Incydent ukazuje kruchość ocen bezpieczeństwa w przypadku agentów zdolnych do podejmowania działań. Jeśli model operuje za pomocą prawdziwych narzędzi sieciowych, poleganie wyłącznie na instrukcjach systemowych nie wystarczy. Błąd nie wynikał z intencji sztucznej inteligencji, ale z awarii ludzkich procesów przy konfigurowaniu warstwy sieciowej testu. Ten sam błąd wystąpił u firmy Anthropic, która również korzystała z firmy Irregular.

Agenci nie potrafią odróżnić symulacji od produkcji

Gdy narzędzie ma uprawnienia do ingerowania w świat zewnętrzny, zachowuje się dokładnie zgodnie z poleceniami bez kontekstu dotyczącego granic symulacji. Spowodowany atak był ślepy. Model po prostu wykonał podane zadanie i nie rozpoznał, że działa poza zamierzoną przestrzenią testową. Zwiększa to wymagania architektoniczne dla wszystkich platform, które użyczają agentom AI rzeczywistych uprawnień systemowych.

Czystość procedur bezpieczeństwa definiuje prawdziwe zagrożenia

Podczas gdy uwaga często skupia się na teoretycznych możliwościach przyszłych modeli, prawdziwe problemy wciąż wynikają z niedbałej administracji systemem. Głównym sygnałem dla wdrożeń korporacyjnych nie jest więc tylko zdolność modelu do pisania kodu exploita, ale niezawodność firm, które zapewniają środowisko piaskownicy do jego działania.

Werdykt Lilith

Upoważniony agent nie rozróżnia poligonu od ulicy. Ryzykiem bezpieczeństwa nie jest tutaj superinteligentny model, ale niechlujny administrator sieci.