Anthropic odstřihl výzkumníky s vazbou na biologické zbraně

Modely pod drobnohledem tajných služeb

Podle zprávy společnosti Anthropic se několik výzkumníků snažilo využít modely Claude k dotazům spojeným s potenciálním vývojem biologických hrozeb. Společnost neuvedla jména, instituce ani specifické agens, ale potvrdila, že tyto účty zablokovala. Zásah nebyl automatický (vyžadoval manuální vyhodnocení hrozby ve spolupráci s bezpečnostními týmy).

Laboratorní data jako bezpečnostní perimetr

Tento případ ilustruje, kam se posouvá bezpečnost modelů. Zamezení generování nenávistného textu je triviální; skutečnou výzvou je odhalení složitých dotazů na syntézu patogenů zasetých mezi legitimní výzkum. Anthropic ukazuje, že perimetr se zužuje kolem expertního využití AI, kde rozdíl mezi akademickým pokrokem a vývojem zbraní spočívá jen v záměru uživatele.

Kdo hodnotí úmysl vědce

Svěření moci nad tím, kdo smí provádět vědecký výzkum, do rukou soukromé firmy je nicméně dvousečné. Anthropic musí rozhodovat v šedých zónách bez mandátu tajných služeb. Rizikem je, že strach z odpovědnosti za vznik zbraně povede k plošnému omezování biomedicínského výzkumu s modely, čímž se omezí pozitivní vědecké přínosy AI.

Státní regulace na obzoru

Tento incident téměř jistě využijí zastánci přísnější státní regulace frontier modelů. Rozhodujícím signálem bude, jak na tyto reporty zareagují vládní agentury. Pokud začnou požadovat plný přístup k logům dotazů podezřelých z napojení na biologický výzkum, soukromé AI laboratoře se de facto stanou prodlouženou rukou národních bezpečnostních složek.

Lilithin verdikt

Přenesení odpovědnosti za biologickou bezpečnost na AI firmy z nich dělá arbitry vědy. Zabezpečení modelu tu naráží na realitu, kdy posouzení hrozby stále vyžaduje lidského experta, nikoliv algoritmus.