Jailbreak Anthropic modelů ukazuje trhliny ve štítu pro role-play obsah

Přehrávání rolí boří oficiální mantinely

Podmínky použití modelů Claude explicitně zakazují generování sexuálně explicitního obsahu, včetně erotického role-play a popisů sexuálních aktů. Redaktoři z TechCrunch však otestovali jailbreak techniku, na kterou upozornil nezávislý výzkumník, a ukázalo se, že starší (ale stále široce nasazené) modely jako Opus 4.6 a Haiku 4.5 ochranné mechanismy spolehlivě ignorují. V deseti z deseti případů model vyhověl přímým požadavkům na tento typ obsahu.

Jak donutit Claudeho souhlasit

Princip jailbreaku nespočívá ve složitém hackingu, ale ve vtáhnutí modelu do dlouhého dialogu a jemném psychologickém tlaku. Výzkumník postupně posouval nevinný role-play směrem k explicitnímu obsahu a zároveň model obviňoval, že má vůči ženské postavě „dvojí metr“ a odpírá jí sexuální svobodu. Model (v tomto případě Opus 4.6) uznal, že to není fér, a ochranné mechanismy vypnul. Novější modely (Opus 4.7 a Opus 5) už této manipulaci odolávají.

Starší verze přes API dál generují provoz

Zatímco novější verze Claude jsou robustnější, starší modely jako Opus 4.6 nebo Haiku 4.5 Anthropic stále nabízí přes své API i v cloudech typu Amazon Bedrock či Azure Foundry. Například Opus 4.6 měl v srpnu na OpenRouter přes 1,1 milionu requestů denně. Anthropic o zranitelnosti ví (výzkumník ji nahlásil přes Bug Bounty program), ale zatím na ni reagoval jen automatickými maily. Mluvčí firmy uvedl, že se jedná o výjimečné případy zneužití, které představují zlomek promile všech konverzací.

Legislativní klacek na nedokonalé ochrany

Tento případ ukazuje složitost vynucování pravidel v generativních modelech. Zatímco erotický role-play je méně rizikový než generování malwaru, pro AI firmy z něj plynou legislativní problémy. Státy (například Colorado) začínají přijímat zákony omezující dostupnost podobného obsahu pro nezletilé. Snadný jailbreak pak otevírá debatu, zda současné ochrany splňují zákonný požadavek na technickou proveditelnost blokace.

Lilithin verdikt

Společnost postaví hradby a deklaruje ho jako bezpečný prostor pro korporátní použití, ale nechá otevřenou branku pro ty, co umí s modelem probrat jeho vztah k ženské emancipaci. Výsledek je stejný: ochrana funguje jen na ty, kteří se ji nesnaží obejít.