サイバーセキュリティを支えるのは規則の強制ではなく信頼だ

Microsoft ResearchのMike Walkerは、セキュリティを単純な前提から考える。システムが利用者に何かを求めるたびに、同時に信頼も求めている。分かりにくい規則や文脈の欠如で信頼を浪費すれば、人は防御を回避し始める。

セキュリティ規則は目的を理解されて初めて機能する

Walkerは規則を自動的な判決ではなく、社会的な合意として捉える。No Vehicles in the Parkというゲームは、公園への乗り物の進入禁止という一見単純な規則でこの論点を示す。国際宇宙ステーションが公園の上空を通過する場合、文言の直訳だけでは判断できず、規則の目的と社会通念が必要になる。

セキュリティシステムも同じ問題を抱える。追加の確認、制限、検査はすべて利用者に負担を課す。要求が状況に合わなければ、組織は安全な行動を教えられない。利用者に抜け道を探す習慣を教えてしまう。

Walkerはこの視点をDARPA Cyber Grand Challengeにも持ち込んだ。10年前の大会では、自律システムが人間の介入なしに脆弱性を探し、自らのソフトウェアを修正し、相手を攻撃した。現在のLLMではなく、今日ならその統合部分をharnessと呼ぶexpert systemsだった。

攻撃と防御は同じ道具を使い、誰が制御するかで結果が変わる

Walkerは、red teamが攻撃しblue teamが防御だけを担うという単純な分け方を退ける。遠隔操作ソフトは管理ツールにもmalwareにもなる。ファイル暗号化はデータを守ることも、人質に取ることもできる。違いを決めるのは目的、権限、そして鍵を持つ人物だ。

AIをサイバーセキュリティに導入するチームには、ここから実務的な原則が導ける。脆弱性を探せるモデルはdual use能力を持つ。防御用と名付けるだけでは足りない。環境、アクセス、audit trail、出力を実際の操作に変えられる人物を管理する必要がある。

もう1つの教訓は連携だ。Walkerはハッキング大会で、チームが90分前に解決済みの課題を自分でも解いてしまった経験を語る。賢い人を集めても、正しい課題に取り組み、進捗を共有できるとは限らない。

この対話が示すのは経験であり現在のAI防御の性能値ではない

対話はハッカー文化、リーダーシップ、Project Freta、DARPA、サイクリングまで扱う。価値は自律型サイバー防御に携わった人物の判断にある。一方で、benchmark、成功率、現在のモデル比較は提示していない。

したがって、2016年のCyber Grand Challengeは、現在のLLMが本番ネットワークを安全にする証明ではない。自動化にはharness、介入規則、既に解決した課題を把握するチームが必要だという、変わらないシステム上の問題を示す。モデル性能は構成要素の1つにすぎない。

修正時間、誤検知、人間の介入が信頼できるAI防御を測る

現在のツールでは、発見から検証済み修正までの時間、誤検知率、人間が処理を止めたり説明したりできるかが重要になる。同じ作業を90分差で繰り返さないよう、チームが発見を共有できることも同じくらい重要だ。

組織は、セキュリティ体制が利用者に課す要求の数と、実際に回避される要求も追跡すべきである。抽象的な信頼が測定可能な運用問題になるのは、まさにそこだ。

Lilithの判定

あらゆる穴を見つけるモデルがあっても、2人の分析担当者が90分差で同じ課題を解いていればチームはつまずく。その管制室を救うのは、次の賢いモデルよりも誰が何をしているかを示す素朴な作業地図だ。