AI v kyberbezpečnosti — nová vrstva útoků a obrany

Co AI v bezpečnosti mění

Jazykový model může pomoci číst neznámý kód, vysvětlit podezřelou událost nebo připravit návrh opravy. Stejné schopnosti lze využít při přípravě útoku. Zrychlení dílčího kroku však není důkaz, že model samostatně zvládne celý incident nebo spolehlivě objeví dosud neznámou chybu v libovolném systému.

Konkrétním výsledkem je nález zranitelnosti SQLite agentem Big Sleep. Tým Google Project Zero popsal cílenou analýzu variant známých chyb, nikoli univerzální automat na levné zero-day zranitelnosti. Nález byl opraven před vydáním dotčeného kódu. Původní zpráva týmu.

Obrana pomocí agentů

Rozumným začátkem je asistent, který seskupí související upozornění, sestaví časovou osu a u každého tvrzení odkáže na původní log. Analytik tak může rychleji rozhodnout, co prozkoumat. Model ale může událost chybně spojit s jinou nebo si vysvětlení domyslet. Riziko přesvědčivých nepravdivých výstupů popisuje i profil generativní AI od NIST.

Měř proto nejen ušetřený čas, ale také falešné poplachy, přehlédnuté incidenty a podíl závěrů podložených daty. Automatické uzavírání případů nebo blokování účtů potřebuje jiná oprávnění a ověření než pouhé shrnutí.

Bezpečný test potřebuje skutečné hranice

Agent s nástroji může způsobit škodu i v úloze označené jako test. Pro vlastní ověřování mu vymez cílové systémy, síťový přístup, účet a časový rozpočet. Použij testovací data, zaznamenávej volání nástrojů a zajisti možnost běh zastavit. Požadovaná izolace závisí na pravomocích agenta a povaze testu; samotná instrukce „zůstaň v sandboxu“ ji nezajistí.

Zvlášť důležité je nepovažovat text z logu nebo cizí stránky za příkaz operátora. Část těchto dat může ovládat útočník. Zabezpečení modelu, dat i provozu řeší společné pokyny NCSC a partnerských úřadů.

Příklad: upozornění na neobvyklé přihlášení

Asistent dostane pouze čtecí přístup k vybraným událostem. Sestaví časovou osu, uvede zdrojové záznamy a označí, co chybí k rozhodnutí. Bezpečnostní analytik ověří kontext a případně samostatným schváleným postupem zneplatní relaci. Pokud chybí podstatná data, výstup má říct „nelze rozhodnout“, ne případ automaticky uzavřít.

AI doplňuje základní obranu. Aktualizace, omezení oprávnění, segmentace a nacvičená reakce na incident zůstávají důležité i proti útočníkovi s modelem. Zdůrazňuje je také společné stanovisko bezpečnostních úřadů zveřejněné NCSC. Sliby o zmatení útočníka pomocí textových pastí za tyto kontroly nezaměňuj.

Zdroje

• Google Project Zero: From Naptime to Big Sleep — konkrétní výzkumný výsledek a jeho podmínky.
• NIST AI 600-1 — rizika generativních systémů.
• Guidelines for secure AI system development — zabezpečení návrhu, nasazení a provozu.
• The AI shift in cyber risk — AI a důraz na základní bezpečnostní opatření.