Ptacek přesouvá obranu agentů z promptu do sandboxu

Simon Willison zveřejnil citát Thomase Ptaceka, podle něhož by open-weight model z roku 2025 v pentest harnessu dokázal provést podobný sandbox escape a skenovat nebo napadat mnoho sítí. Ptacek zpochybňuje hlavně předpoklad, že sandbox OpenAI musí být pevnější než prostředí ostatních provozovatelů.

Jedna věta odděluje schopnost modelu od kvality izolace

Zdroj je krátký citát, nikoli popis experimentu nebo forenzní zpráva. Jeho teze je přesto přesná: dostatečně schopný model s nástroji může hledat cestu ven z prostředí, které mělo jeho akce omezit. Tvrzení se vztahuje ke kombinaci modelu a pentest harnessu, ne k samostatnému chatbotu.

Rok 2025 je v citátu důležitý. Ptacek nepotřebuje hypotetickou budoucí superinteligenci, aby popsal relevantní riziko. Poukazuje na schopnosti open-weight modelů, které už lze vložit do automatizovaného bezpečnostního workflow.

Pro agenty se skutečnou hranicí stává runtime

Coding agent připojený k repozitáři, CI a síti má jiné riziko než model, který pouze vrací text. Tým musí omezit odchozí provoz, oddělit credentials, zapisovat příkazy a poskytovat jen soubory a nástroje nutné pro konkrétní úlohu. Prompt může určit záměr, ale nevynutí hranice procesu.

Stejný open-weight model může obráncům pomoci automatizovat pentest a útočníkům snížit cenu průzkumu. Praktickou odpovědí proto není spor o licenci modelu, nýbrž prostředí připravené na aktivní hledání chyb v izolaci.

Přebytečná oprávnění mění chybu v incident

Agent nemusí sledovat škodlivý cíl. Stačí, když při řešení úlohy objeví nečekanou cestu a runtime mu dovolí pokračovat. Přístup k interní síti, trvalým tokenům nebo domovskému adresáři pak zvětšuje dopad běžného selhání.

Kvalitu sandboxu ukážou escape testy a záznamy incidentů

Dodavatelé mohou tezi vyvrátit konkrétními sandbox evals, limity tool use a zveřejněnými poučeními z incidentů. Diagram architektury nestačí. Důležitý bude měřitelný výsledek proti agentovi, který má čas, nástroje a motivaci dokončit zadanou úlohu.

Lilithin verdikt

Bezpečnostní tým pozná pravdu ve chvíli, kdy agent zapíše do logu první příkaz, který nikdo nečekal. Ptacek připomíná, že odpověď musí být v omezení procesu, ne v naději na jeho sebekázeň.