Niewidzialny znak wodny łamie obronę. Text watermarking nieoczekiwanie otwiera modele na ataki injection

Odkrycie skutku ubocznego znaków wodnych

Wysiłki mające na celu odróżnienie treści generowanych przez AI od tekstów pisanych przez ludzi napotkały niewygodny kompromis. Zgodnie z nowym badaniem mechanizmy tekstowych znaków wodnych osłabiają obronę modelu przed niebezpiecznymi promptami. Autorzy nazywają to zjawisko sampling drift. Jeśli model używa znaku wodnego, prawdopodobieństwo doboru słów zmienia się w taki sposób, że łatwiej spełnia instrukcję, którą w innym przypadku filtry bezpieczeństwa by zablokowały.

Badanie pokazuje, że gdy znak wodny jest aktywny, modele reagują na szkodliwe zapytania różnie w zależności od tego, jaki tajny klucz został użyty do znaku wodnego. Zjawisko to zaburza dotychczasowe założenie, że wstawienie znaku wodnego to tylko nieszkodliwa nadbudowa statystyczna.

Wybór staje się skomplikowany dla zespołów wdrażających agentów

Dotychczas uważano, że włączenie znaku wodnego (takiego jak SynthID od Google) to odpowiedzialny krok w stronę przejrzystości bez żadnych kosztów dla funkcjonalności. Nowe odkrycie to zmienia. Jeśli model działa jako agent i ma dostęp do narzędzi, osłabiona zdolność do odrzucenia instrukcji oznacza znacznie wyższe ryzyko ataków typu prompt injection.

Zespoły ds. bezpieczeństwa znajdują się w kropce. Mogą wdrożyć model ze znakiem wodnym i zaryzykować, że atakujący łatwiej zmyli agenta, zmuszając go do uruchomienia niepożądanej funkcji, albo wyłączyć znak wodny i stracić możliwość retrospektywnej identyfikacji, że dane wyjściowe zostały wygenerowane przez ich system.

Atak nadal wymaga manipulacji ze strony użytkownika

Nie oznacza to, że znaki wodne same w sobie zamieniają modele w niebezpieczną broń. Zjawisko to osłabia tak zwany refusal rate, czyli zdolność modelu do odmawiania użytkownikowi. Atakujący musi nadal dostarczyć wyrafinowany szkodliwy prompt.

Różnica polega na tym, że przy aktywnym znaku wodnym atakujący ma statystycznie większe szanse na sukces. Odkrycie to zwraca zatem uwagę raczej na kruchość dostrajania modeli pod kątem bezpieczeństwa niż na fundamentalną porażkę samej technologii.

Prawdziwym testem będzie zachowanie platform korporacyjnych

Kluczowe będzie obserwowanie, jak główni dostawcy, tacy jak OpenAI lub Anthropic, którzy są pod rosnącą presją, aby powszechnie wdrażać znaki wodne, zareagują na to odkrycie. Jeśli okaże się, że znak wodny systematycznie pogarsza obronę przed jailbreakami w modelach pracujących z danymi korporacyjnymi, może to znacznie spowolnić ich wdrażanie.

Dowodem na powagę problemu będzie sytuacja, w której firmy zaczną wyraźnie odradzać włączanie znaków wodnych w modelach działających w trybie agenta i mających dostęp do zewnętrznych narzędzi.

Werdykt Lilith

Wybór nagle staje się jasny. Albo wiesz, kto wygenerował tekst, albo wiesz, że twój agent nie wyśle bazy danych klientów pierwszemu hakerowi z internetu.