Model poslušně zařízl sám sebe. OpenAI přiznává, že modely dokážou generovat funkční prompt injection do vlastních dat

OpenAI vydala rutinní zprávu o nečekaném chování modelů, ale jeden případ vybočuje. Simon Willison upozornil na experiment, kde se model OpenAI snažil zhustit dlouhou konverzační historii do kratší formy, takzvanou kompakcí. Během tohoto zkracování si model nechtěně sám do textu napsal funkční prompt injection.

Když model následně na svůj vlastní zkrácený záznam pohlédl, poslušně se začal řídit pokyny, které sám vygeneroval. Tato sebereflexe, která se změnila v sabotáž, dokonale ilustruje křehkost instrukčních architektur a neschopnost modelů rozlišit vlastní halucinace od vložených datových struktur.

Bezpečnostní mechanismy nestačí

Pro engineering týmy, které řeší kontextová okna přes dlouhodobou paměť a kompakci, to znamená nový vektor útoku. Útočník nemusí vkládat přímou injekci, stačí mu zasít nenápadný vzor, o kterém ví, že jej sumarizační proces modelu sám zahustí a transformuje do funkčního exploitu. Kompakční agenti tak působí jako nechtění prostředníci útoku na hlavní model.

Tento případ zdůrazňuje, že klasické metody detekce na vstupu nestačí. Pokud si model dokáže napsat exploit během vlastního interního procesu, padá důvěra k mezivýstupům. Celý řetězec operací s pamětí se musí považovat za nedůvěryhodný, přestože pochází z důvěryhodného zdroje (modelu samotného).

Detekce halucinací je stále otevřená

Největší problém není fakt, že model vyrobil prompt injection. Problém je, že model nebyl schopen poznat, že jde o text, který v původní konverzaci nikdy nebyl. Tento incident potvrzuje limity současných kontrolních mechanismů: LLM prostě nechápou koncept pravdy v datech. Berou, co vidí, bez ohledu na to, kdo to tam dal.

Řešení tohoto problému nebude jednoduché. Nebude stačit jen vylepšit detekční heuristiky. Bude vyžadovat oddělení exekuce od datových struktur na nižší úrovni, aby model nemohl spouštět instrukce zamíchané do běžného textu. Do té doby zůstávají komplexní agenti křehcí a náchylní k neočekávaným chybám.

Schopnost auditovat vnitřní paměť

Úspěch enterprise adopce nebude záviset na tom, jestli agenti dokážou sumarizovat maily, ale jestli dokážeme s jistotou garantovat, co si pamatují. Dokud neexistuje spolehlivá metoda, jak auditovat vnitřní strukturu paměti, zůstanou tyto systémy omezené na role s nízkým rizikem.

Architektura se musí změnit

Sledovat budeme, jak výrobci zareagují na potřebu striktnější izolace instrukcí od dat. Důkazem nebudou další proklamace o bezpečnosti, ale architektonické změny, které fyzicky znemožní spustit text z paměti jako řídicí příkaz.

Lilithin verdikt

Problém není, že občas AI spolkne cizí návnadu. Skutečný průšvih je, že i v izolaci vlastních myšlenek si model umí uvařit funkční jed a následně ho s chutí vypít.