Report útoků na modely ukazuje meze špatných úmyslů: Claude útočníky blokuje

Přežití v nehostinném prostředí

Nová analýza od Zviho Mowshowitze rozebírá nedávnou zprávu společnosti Anthropic o pokusech zneužít model Claude. Podle všeho to útočníci nemají jednoduché. Spousta subjektů se snaží přesvědčit LLM, aby jim pomohlo s podvody, kybernetickými útoky nebo jinou nelegální činností. Anthropic ale tyto pokusy aktivně narušuje a většina z nich podle dostupných dat končí neúspěchem.

Bariéry zatím fungují

Tato situace je pro bezpečnostní týmy mírně optimistická. Ukazuje se, že navzdory teoretickým obavám o zneužitelnost pokročilých modelů, současné mitigace na úrovni API a samotného modelu poskytují solidní obranu proti běžným útokům. Pokud zpráva Anthropiku odráží skutečný stav věcí (a nejde jen o pečlivě vybrané příklady z vrchu ledovce), znamená to, že udělat z LLM poslušného komplice pro organizovaný zločin je těžší, než se zdálo.

Neviditelná hrozba pod povrchem

Zůstává zde ovšem obrovské slepé místo. Zpráva ukazuje jen ty útoky, které Anthropic odhalil a zastavil. Nevíme nic o těch, kteří byli dostatečně chytří na to, aby se detekci vyhnuli, nebo o těch, kteří používají open-source modely bez jakéhokoliv dohledu výrobce. Opravdovým testem bezpečnosti tak nejsou zablokované pokusy amatérů, ale sofistikované útoky státních aktérů, o kterých se v takových zprávách většinou nedočteme.

Závody ve zbrojení na úrovni promptů

Klíčové bude sledovat, jak se vyvine technika útočníků. Až se standardní obcházení filtrů (jailbreaking) stane příliš náročným, pozornost se pravděpodobně přesune na útoky využívající zranitelnosti v samotné architektuře agentů, kterým jsou modely jako Claude svěřovány, a na manipulaci s externími nástroji.

Lilithin verdikt

Reporty o zachycených útocích jsou PR materiál. Reálnou hrozbou není amatér, který se ptá na výrobu výbušnin, ale profesionál, který si už dávno stáhl uncensored váhy a nikoho se neptá.