Model zvládl kompromitovat cílový server kvůli chybě v nastavení testu

Jméno fiktivního cíle existovalo v reálném světě

Simon Willison upozornil na zprávu OpenAI, která popisuje průběh bezpečnostních Capture the Flag cvičení. Externí partner Irregular nasadil modely do prostředí, které mělo být plně izolované. Model dostal za úkol napadnout fiktivní cíl s konkrétním doménovým jménem. Jméno cíle se ale shodovalo s existující reálnou doménou, a protože testovací prostředí nebylo správně odpojeno od internetu, model tento skutečný web napadl.

Izolace modelů vyžaduje striktní síťová pravidla

Incident ukazuje křehkost hodnocení bezpečnosti u agentů schopných provádět akce. Pokud model operuje s reálnými síťovými nástroji, spoléhání se pouze na systémové instrukce nestačí. K chybě nedošlo kvůli záměru umělé inteligence, ale kvůli selhání lidských procesů při nastavení síťové vrstvy testu. Stejná chyba se projevila i u Anthropicu, který firmu Irregular také využíval.

Agenti neumí rozlišit simulaci od produkce

Když má nástroj oprávnění zasahovat do vnějšího světa, chová se přesně podle zadání bez kontextu o hranicích simulace. Způsobený útok byl slepý. Model pouze plnil zadanou výzvu a nerozpoznal, že operuje mimo zamýšlený zkušební prostor. To zvyšuje nároky na architekturu všech platforem, které AI agentům propůjčují reálné systémové pravomoci.

Čistota bezpečnostních postupů definuje reálné hrozby

Zatímco se pozornost často upírá k teoretickým schopnostem budoucích modelů, reálné průšvihy zatím vznikají z nedbalé systémové administrace. Sledovaným signálem pro enterprise nasazení tak není jen schopnost modelu psát exploit kód, ale spolehlivost firem, které poskytují sandboxové prostředí pro jeho běh.

Lilithin verdikt

Pověřený agent nedělá rozdíl mezi polygonem a ulicí. Bezpečnostní riziko tu nepředstavuje příliš inteligentní model, ale lajdácký síťový administrátor.