Kyberbezpečnost stojí na důvěře, ne na slepém vymáhání pravidel

Mike Walker z Microsoft Research staví bezpečnost na prosté tezi. Když systém něco žádá, žádá také o důvěru. Pokud ji promrhá špatnými pravidly, lidé začnou obranu obcházet.

Bezpečnostní pravidlo funguje, jen když mu lidé rozumějí

Walker vidí pravidla jako společenskou dohodu, ne jako automatický soud. Hra No Vehicles in the Park to ukazuje na zákazu vozidel v parku. Nad parkem však může přeletět Mezinárodní vesmírná stanice. Doslovné znění pak nestačí. Člověk musí znát účel pravidla i běžné normy.

Stejný problém mají bezpečnostní systémy. Každá další výzva nebo kontrola zatěžuje uživatele. Nesmyslný požadavek neučí lidi bezpečnému chování. Učí je hledat zkratku.

Walker tuto optiku přenesl i do DARPA Cyber Grand Challenge. Soutěž se konala před 10 lety. Autonomní systémy v ní hledaly slabiny, opravovaly vlastní software a útočily na soupeře. Lidé do zápasu nezasahovali. Nešlo o dnešní LLM, ale o expert systems. Jejich řízení bychom dnes nazvali harness.

Útok a obrana používají stejné nástroje, rozhoduje kontrola

Podle Walkera nestačí říct, že red team útočí a blue team brání. Program pro vzdálené ovládání může být nástroj správce i malware. Šifrování může chránit data, nebo je držet jako rukojmí. Rozhoduje záměr, oprávnění a člověk, který má systém pod kontrolou.

Pro týmy s AI z toho plyne praktické pravidlo. Model schopný hledat zranitelnosti má dual use povahu. Obranná nálepka nestačí. Tým musí řídit prostředí, přístup i auditní stopu. Musí také určit, kdo smí výsledek proměnit v akci.

Druhá lekce se týká spolupráce. Walker jednou vyřešil soutěžní úlohu, kterou tým dokončil už o 90 minut dřív. Ani chytří lidé tedy nemusí pracovat na správném problému. Bez sdíleného přehledu snadno opakují stejnou práci.

Podcast nabízí zkušenost, ne měření dnešních AI obran

Rozhovor spojuje hackerskou kulturu, vedení týmů, Project Freta, DARPA a cyklistiku. Jeho síla je ve Walkerově zkušenosti s autonomní obranou. Nenabízí však benchmark, míru úspěchu ani srovnání dnešních modelů.

Cyber Grand Challenge z roku 2016 proto nedokazuje, že LLM ochrání produkční síť. Ukazuje trvalý problém. Automatizace potřebuje harness, pravidla zásahu a sehraný tým. Výkon modelu tvoří jen jednu část systému.

Důvěryhodnou AI obranu změří opravy a lidský zásah

U dnešních nástrojů bude důležitý čas od nálezu k ověřené opravě. Týmy musí sledovat i falešná hlášení. Člověk má být schopný zásah zastavit a vysvětlit. Sdílení nálezů pak brání tomu, aby dva lidé řešili stejný úkol s odstupem 90 minut.

Firmy by také měly sledovat, co žádají od uživatelů. Zvlášť cenný je přehled požadavků, které lidé obcházejí. Právě tam se důvěra mění v měřitelný provozní problém.

Lilithin verdikt

Bezpečnostní tým může mít model, který najde každou skulinu, a přesto nechat dva analytiky řešit stejný úkol o 90 minut později. Takový velín zachrání spíš obyčejná mapa práce než další chytrý model.