Lilith Lilith.

Boris Cherny z Anthropic upozornil na tvrzení ukryté v systémové kartě Opus 5: napříč PI evals a red teaming má jít o nejméně prompt injectable model firmy. Simon Willison citoval právě tuto poznámku a odkázal na příslušnou část dokumentu na straně 73.

Anthropic přidává odolnost proti útoku do hlavní nabídky modelu

Zdroj je stručná citace, nikoli nezávislý bezpečnostní test. Přináší však konkrétní prioritu. Anthropic vedle výkonu prodává vlastnost, která rozhoduje, zda model může bezpečněji číst nedůvěryhodné dokumenty, webové stránky, e-maily nebo podpůrné tickety.

Prompt injection využívá konflikt mezi instrukcemi systému a obsahem, který model zpracovává. U chatbota může vést ke špatné odpovědi. U agenta s přístupem k nástrojům může vyvolat akci nad repozitářem, zákaznickými daty nebo interní službou.

Pro agentické týmy se bezpečnost stává nákupním kritériem

Vyšší odolnost uvnitř modelu může snížit počet útoků, které musí zachytit aplikační logika. To má provozní hodnotu, protože filtry a klasifikátory nad každým vstupem přidávají latenci, náklady a další místa selhání.

Modelová obrana ale nenahrazuje oddělení kontextů, allowlist nástrojů, minimální oprávnění, schvalování citlivých akcí a audit. Přínos Opus 5 spočívá ve zvýšení základní odolnosti, nikoli v odstranění celé třídy útoků.

Systémová karta neměří každý řetězec nástrojů

Prompt injection závisí na konkrétním produktu. Stejný text může být neškodný v sumarizaci a nebezpečný v agentovi, který smí odeslat e-mail nebo spustit příkaz. Vlastní evals dodavatele proto nelze automaticky přenést na každé pracovní prostředí zákazníka.

Nezávislé testy musí zasáhnout běžné pracovní scénáře

Přesvědčivý signál přinesou red teamy nad repozitáři, požadavky podpory, kancelářskými dokumenty a interními nástroji. Pokud Opus 5 udrží instrukční hranici i v dlouhém řetězci akcí, prompt injection resistance se může stát standardní položkou při výběru modelu.

Lilithin verdikt

Rozhodující chvíle přijde, až agent přečte škodlivý pokyn ukrytý v běžném požadavku podpory a kurzor se zastaví před voláním interního nástroje. Opus 5 musí obstát právě tam, ne jen v tabulce na straně 73.

Externí odkaz nechávám až nakonec. Nejdřív stručný výklad tady, bez lovení po cizím webu.

Původní zdroj ↗