AI w cyberbezpieczeństwie — nowa warstwa ataków i obrony

Co AI zmienia w bezpieczeństwie

Model językowy może pomóc zrozumieć nieznany kod, wyjaśnić podejrzane zdarzenie lub przygotować poprawkę. Te same zdolności mogą wspierać przygotowanie ataku. Przyspieszenie jednego etapu nie dowodzi jednak, że model samodzielnie obsłuży cały incydent albo niezawodnie znajdzie nieznane błędy w dowolnym systemie.

Konkretnym wynikiem jest odkrycie luki w SQLite przez agenta Big Sleep. Google Project Zero opisał ukierunkowaną analizę wariantów znanych błędów, a nie uniwersalny automat do taniego odkrywania luk zero-day. Błąd naprawiono przed wydaniem dotkniętego nim kodu. Oryginalny raport zespołu.

Obrona przy pomocy agentów

Rozsądnym początkiem jest asystent, który grupuje powiązane alerty, tworzy oś czasu i łączy każde twierdzenie z logiem źródłowym. Analityk może szybciej zdecydować, co zbadać. Model może jednak połączyć niezwiązane zdarzenia lub wymyślić wyjaśnienie. Ryzyko przekonujących, lecz fałszywych odpowiedzi opisuje profil generatywnej AI opracowany przez NIST.

Mierz nie tylko oszczędność czasu, ale też fałszywe alarmy, przeoczone incydenty i udział wniosków popartych danymi. Automatyczne zamykanie spraw lub blokowanie kont wymaga innych uprawnień i weryfikacji niż samo podsumowanie.

Bezpieczny test potrzebuje rzeczywistych granic

Agent z narzędziami może wyrządzić szkodę również w zadaniu nazwanym testem. Określ systemy docelowe, dostęp do sieci, konto i limit czasu. Używaj danych testowych, zapisuj wywołania narzędzi i zapewnij możliwość zatrzymania pracy. Poziom izolacji zależy od uprawnień agenta i rodzaju testu; samo polecenie pozostania w piaskownicy go nie wymusi.

Tekstu z logu lub zewnętrznej strony nie należy traktować jako polecenia operatora. Część tych danych może kontrolować atakujący. Bezpieczeństwo modelu, danych i eksploatacji opisują wspólne wytyczne NCSC i partnerów.

Przykład: alert o nietypowym logowaniu

Asystent otrzymuje dostęp tylko do odczytu wybranych zdarzeń. Tworzy oś czasu, wskazuje zapisy źródłowe i określa, czego brakuje do decyzji. Analityk bezpieczeństwa sprawdza kontekst i w razie potrzeby unieważnia sesję w osobnej zatwierdzonej procedurze. Jeśli brakuje kluczowych danych, wynik powinien mówić, że nie można rozstrzygnąć sprawy, zamiast automatycznie ją zamykać.

AI uzupełnia podstawową obronę. Aktualizacje, ograniczone uprawnienia, segmentacja i przećwiczona reakcja na incydent pozostają ważne również wobec atakującego używającego modelu. Podkreśla je wspólne stanowisko urzędów opublikowane przez NCSC. Nie zastępuj tych kontroli obietnicami zmylenia przeciwnika tekstowymi pułapkami.

Źródła

• Google Project Zero: From Naptime to Big Sleep — konkretny wynik badania i jego warunki.
• NIST AI 600-1 — ryzyka generatywnej AI.
• Guidelines for secure AI system development — bezpieczny projekt, wdrożenie i eksploatacja.
• The AI shift in cyber risk — AI i podstawowe zabezpieczenia.