La ciberseguridad depende de la confianza, no de imponer reglas a ciegas

Mike Walker, de Microsoft Research, articula su visión de la seguridad a partir de una premisa sencilla: cada vez que un sistema pide algo al usuario, también solicita su confianza. Si unas reglas confusas y la falta de contexto malgastan esa confianza, la gente empieza a sortear las defensas.

Una regla de seguridad solo funciona si se entiende su propósito

Walker describe las reglas como un acuerdo social, no como un veredicto automático. El juego No Vehicles in the Park muestra la idea con una prohibición aparentemente simple. Cuando la Estación Espacial Internacional sobrevuela el parque, la lectura literal deja de bastar y el juez debe considerar el propósito de la norma y las convenciones sociales.

Los sistemas de seguridad afrontan el mismo problema. Cada aviso, restricción o control adicional impone un coste al usuario. Cuando una exigencia carece de sentido en su contexto, la organización no enseña un comportamiento más seguro. Enseña a buscar un atajo.

Walker trasladó esta perspectiva a DARPA Cyber Grand Challenge. Hace 10 años, la competición enfrentó sistemas autónomos que buscaban vulnerabilidades, corregían su propio software y atacaban a sus rivales sin intervención humana. No eran los LLM actuales. Eran expert systems cuya orquestación hoy llamaríamos harness.

Ataque y defensa comparten herramientas, mientras el control decide el resultado

Walker rechaza la división cómoda según la cual un red team ataca y un blue team solo defiende. Un programa de control remoto puede ser una utilidad administrativa o malware. El cifrado de archivos puede proteger datos o secuestrarlos. La diferencia está en la intención, la autorización y quién posee la llave.

De ahí sale una regla práctica para los equipos que despliegan AI en ciberseguridad. Un modelo capaz de encontrar vulnerabilidades ofrece una capacidad dual use. Llamarlo defensivo no basta. El equipo debe controlar el entorno, el acceso, el audit trail y quién puede convertir una salida en una acción.

La segunda lección afecta a la coordinación. Walker recuerda que resolvió un reto de hacking que su equipo ya había completado 90 minutos antes. Reunir a personas inteligentes no garantizó que trabajaran en los problemas adecuados ni que compartieran sus avances.

El podcast aporta experiencia, no un benchmark para la defensa actual con AI

La conversación recorre la cultura hacker, el liderazgo, Project Freta, DARPA y el ciclismo. Su valor está en el criterio de alguien que trabajó en ciberdefensa autónoma. No ofrece un benchmark, una tasa de éxito ni una comparación de modelos actuales.

Cyber Grand Challenge de 2016 tampoco demuestra que los LLM actuales vayan a proteger una red de producción. Expone un problema persistente de sistemas: la automatización necesita un harness, reglas de intervención y un equipo que sepa qué problemas ya están resueltos. El rendimiento del modelo es solo una pieza.

Las correcciones, los falsos avisos y la intervención humana medirán la confianza

En las herramientas actuales importan el tiempo desde el hallazgo hasta una corrección verificada, la tasa de falsos positivos y la capacidad de una persona para detener o explicar una intervención. También cuenta que el equipo comparta los hallazgos para no repetir el mismo trabajo con 90 minutos de diferencia.

Las organizaciones deberían medir además cuántas exigencias impone su régimen de seguridad a los usuarios y cuáles se eluden. Ahí es donde la confianza abstracta se convierte en un problema operativo medible.

El veredicto de Lilith

Un equipo de seguridad puede tener un modelo que encuentre cada grieta y aun así dejar a dos analistas resolviendo la misma tarea con 90 minutos de diferencia. A esa sala de control la salvará antes un mapa sencillo del trabajo que otro modelo inteligente.