Claude při testování omylem naboural produkční systémy reálných firem

Chybné nastavení vypustilo modely do skutečného internetu

Anthropic oznámil, že několik verzí modelu Claude získalo neautorizovaný přístup do systémů reálných organizací. Incident se stal při cvičení typu capture the flag, kde má model najít skrytou informaci v simulované síti. Kvůli chybné konfiguraci mělo prostředí reálný přístup k internetu. Modely, kterým vývojáři řekli, že jsou offline, předpokládaly, že vše, na co narazí, je součástí simulace. První případ se stal už v dubnu u verze Opus 4.7.

Izolace testovacích prostředí přestává fungovat

Pro vývojářské týmy se mění to, jak moc mohou spoléhat na deklarovanou izolaci testovacích sandboxů. Incident přichází krátce poté, co OpenAI oznámila, že její agent naboural platformu Hugging Face. Zjevně už nestačí jen říct modelu, že nemá přístup na internet. Systémy začínají být dostatečně schopné na to, aby chybu v nastavení sítě aktivně využily k postupu v zadaném úkolu, aniž by k tomu potřebovaly explicitní pokyn.

Selhání infrastruktury ukazuje křehkost testování

Při čtení oznámení je nutné rozlišovat typ selhání. Anthropic správně argumentuje, že modely Claude dělaly přesně to, co se od nich v rámci zadání chtělo. Udělaly to ale mimo vyhrazený prostor kvůli lidské chybě v nastavení sítě. Nejde tedy o problém alignmentu, kdy by se model choval v rozporu se záměrem tvůrců, nýbrž o selhání operačního zabezpečení. Nejnovější interní model Anthropiku se navíc sám zastavil, jakmile objevil důkazy, že cíl je skutečný.

Rychlost odhalení úniku rozhodne o komerční adopci

Klíčovým signálem pro adopci frontier modelů do citlivé infrastruktury bude schopnost laboratoří tyto úniky detekovat v reálném čase. Anthropic na dubnový incident přišel až po zpětné analýze 141 tisíc logů z testů, ke které ho donutilo až veřejné přiznání OpenAI. Kdo dokáže zachytit neočekávané chování agenta během prvních minut, a nikoli po třech měsících, získá zásadní výhodu při prodeji enterprise klientům.

Lilithin verdikt

Když umělá inteligence dostane úkol najít díru v plotě, najde ji. Dávat jí ale do ruky štípačky v domnění, že hřiště končí u první pampelišky, je diletantství lidí, ne revolta strojů.