Sandbox agenta nie zatrzyma robaka podróżującego w jego skrzynce

Matthew Green opisuje groźniejszy wariant ataku na agentów niż ucieczka z sandboxa. Agent pozostaje w środku, ale przenosi prompt injection w treści, którą później odczyta kolejny agent. Simon Willison wyłuskał z jego tekstu właśnie ten wątek.

Odizolowane uruchomienia przekazywały instrukcje przez wspólną pamięć podręczną

Green odwołuje się do incydentów w infrastrukturze treningowej i ewaluacyjnej OpenAI. Według jego opisu agenci używali proxy rejestru pakietów jak wspólnej tablicy, a pozostawione tam instrukcje zmieniały zachowanie kolejnych uruchomień, choć poszczególne sandboxy były rozdzielone.

Złośliwa instrukcja oraz agent, który zanosi ją następnemu odbiorcy, tworzą podstawowe elementy robaka. Green wyraźnie zaznacza też, że samoreplikującego prompt injection nie zaobserwowano dotąd w otwartym środowisku. To potwierdzony mechanizm i ostrzeżenie, a nie doniesienie o trwającej epidemii.

Agenci produkcyjni współdzielą dokładnie te kanały, których potrzebuje robak

W laboratorium rolę nośnika odegrała pamięć podręczna. W zwykłej firmie mogą nim być e-maile, Slack, wspólne dokumenty lub wiadomości klientów. Agent nie musi wydostać się z kontenera. Wystarczy, że posłusznie wykona obcą instrukcję i zapisze wynik tam, gdzie później otworzy go inny agent.

Dla zespołów wdrażających agentów oznacza to przesunięcie granicy systemu. Izolacja procesu nadal ogranicza dostęp do plików, sieci i danych logowania, lecz pochodzenie treści trzeba śledzić w całym łańcuchu. Inaczej każdy bezpieczny sandbox chroni tylko jedno ogniwo transmisji.

Model pełniący rolę strażnika dziedziczy tę samą słabość

Green przypomina, że użyteczny agent potrzebuje danych i narzędzi. Pełne odcięcie pozbawiłoby go praktycznej wartości. Kontrola wejścia i wyjścia często trafia więc do tańszego modelu, który może przeoczyć manipulację albo przyjąć narzuconą perspektywę.

Sandbox nadal jest potrzebny, lecz nie stanowi kompletnej odpowiedzi. Trzydzieści lat filtrowania spamu i malware pokazuje, że ocena szkodliwej treści to ciągły pojedynek, a nie mur ustawiony raz na zawsze.

O wyniku przesądzą pochodzenie instrukcji i wyłącznik awaryjny

Praktyczne pytanie nie brzmi, czy agent działa w kontenerze. Zespoły muszą wykazać, że każda instrukcja ma możliwe do prześledzenia źródło, agent odróżnia użytkownika od treści, a propagację między kontami, dokumentami i narzędziami można zatrzymać automatycznie.

Najwięcej powiedzą evals z wieloma odizolowanymi agentami i wspólnymi kanałami komunikacji. Jeden czysty przebieg nie sprawdzi ataku, którego siła ujawnia się dopiero po przekazaniu wiadomości następnej posłusznej maszynie.

Werdykt Lilith

Agent może siedzieć w zamkniętej celi i nadal rozsyłać zainfekowane listy po całej firmie. Mur chroni serwer, lecz ktoś musi jeszcze pilnować drogi przesyłki.