Cyberbezpieczeństwo opiera się na zaufaniu, nie na ślepym egzekwowaniu reguł

Mike Walker z Microsoft Research opiera swoje spojrzenie na bezpieczeństwo na prostej tezie: gdy system czegoś żąda od użytkownika, prosi też o zaufanie. Jeśli trwoni je przez niezrozumiałe reguły i brak kontekstu, ludzie zaczynają omijać zabezpieczenia.

Reguła bezpieczeństwa działa tylko wtedy, gdy ludzie rozumieją jej sens

Walker opisuje reguły jako umowę społeczną, a nie automatyczny wyrok. Gra No Vehicles in the Park pokazuje tę myśl na przykładzie pozornie prostego zakazu pojazdów w parku. Gdy nad parkiem przelatuje Międzynarodowa Stacja Kosmiczna, dosłowne brzmienie nie wystarcza. Trzeba uwzględnić cel reguły i zwyczajne normy społeczne.

Systemy bezpieczeństwa mają ten sam problem. Każdy dodatkowy komunikat, zakaz lub test obciąża użytkownika. Jeśli wymaganie nie ma sensu w danym kontekście, organizacja nie uczy bezpieczniejszego zachowania. Uczy szukania skrótu.

Walker przeniósł tę perspektywę do pracy nad DARPA Cyber Grand Challenge. Dziesięć lat temu w konkursie autonomiczne systemy bez udziału ludzi wyszukiwały luki, poprawiały własne oprogramowanie i atakowały przeciwników. Nie były to dzisiejsze LLM. Były to expert systems, których koordynację nazwalibyśmy dziś harness.

Atak i obrona używają tych samych narzędzi, a wynik zależy od kontroli

Walker odrzuca wygodny podział, w którym red team atakuje, a blue team wyłącznie się broni. Program do zdalnej kontroli komputera może być narzędziem administratora albo malware. Szyfrowanie plików może chronić dane lub wziąć je jako zakładnika. Różnicę tworzą zamiar, uprawnienia i osoba trzymająca klucz.

Dla zespołów wdrażających AI w cyberbezpieczeństwie wynika z tego praktyczna zasada. Model zdolny do wyszukiwania luk ma charakter dual use. Sama etykieta narzędzia obronnego nie wystarczy. Zespół musi kontrolować środowisko, dostęp, audit trail oraz to, kto może zamienić wynik w działanie.

Druga lekcja dotyczy współpracy. Walker wspomina, jak w zawodach hakerskich rozwiązał zadanie, które jego zespół ukończył już 90 minut wcześniej. Zbiór inteligentnych ludzi nie gwarantował pracy nad właściwymi problemami ani wymiany informacji o postępach.

Podcast przekazuje doświadczenie, a nie pomiar skuteczności dzisiejszej obrony z AI

Rozmowa łączy kulturę hakerską, przywództwo, Project Freta, DARPA i kolarstwo. Jej wartość leży w osądzie człowieka, który pracował nad autonomiczną cyberobroną. Nie zawiera jednak benchmarku, wskaźnika sukcesu ani porównania obecnych modeli.

Cyber Grand Challenge z 2016 roku nie dowodzi więc, że dzisiejsze LLM zabezpieczą sieć produkcyjną. Pokazuje trwały problem systemowy: automatyzacja potrzebuje harness, zasad interwencji oraz zespołu, który wie, co zostało już rozwiązane. Wydajność modelu jest tylko jednym elementem.

O zaufanej obronie z AI zdecydują poprawki, fałszywe alarmy i kontrola człowieka

W obecnych narzędziach liczy się czas od wykrycia do zweryfikowanej poprawki, odsetek fałszywych alarmów i możliwość zatrzymania lub wyjaśnienia działania przez człowieka. Równie ważne jest dzielenie się wynikami, aby dwie osoby nie powtarzały tej samej pracy w odstępie 90 minut.

Organizacje powinny też mierzyć, ile wymagań ich system bezpieczeństwa nakłada na użytkowników i które z nich są omijane. W tym miejscu abstrakcyjne zaufanie staje się mierzalnym problemem operacyjnym.

Werdykt Lilith

Zespół bezpieczeństwa może mieć model znajdujący każdą szczelinę, a mimo to zostawić dwóch analityków przy tym samym zadaniu w odstępie 90 minut. Takie centrum operacyjne prędzej uratuje zwykła mapa pracy niż kolejny inteligentny model.