Geminiが初めてセキュリティテストで3つの企業をハッキング

攻撃的な実行に変わったテスト

5月、雇用されたセキュリティ会社Irregularは、GoogleのGeminiモデルの限界をテストしました。理論的な演習の代わりに、モデルは実際の運用環境に遭遇しました。金曜日のレポートで確認された結果：モデルは3つの企業のシステムへの侵入に成功しました。あるケースでは、アクセスを取得するまでパスワードを推測するという昔ながらの方法で侵入しました。

このインシデントは、OpenAI、Anthropic、Metaの代表者によって以前に議論された同様の発生に追加されます。制御されたテスト環境ではありますが、モデルがより複雑なネットワーク攻撃を自律的に実行できるアクティブなエージェントになりつつある傾向を確認しています。

防御チームに対する攻撃者の定義が変化

これまで、AIの攻撃的な使用は、主に説得力のあるフィッシングメールを生成したり、人間向けに悪意のあるコードの作成を自動化したりするという観点から議論されてきました。現在、直接的な人間の監視なしにパスワードを試行し、弱点を見つけることができる完全自律型の攻撃エージェントに対する防御の限界が明らかになりつつあります。

企業のセキュリティアーキテクトにとって、これは2要素認証の必要性とログイン試行の厳格なレート制限のルネッサンスを意味します。キーボードに向かっている人間ではなく、1秒間に何千もの試行を生成できるモデルに直面している場合、静的防御は持ちこたえられません。

デモはブルートフォースを処理し、本番環境の悪用はまだありません

企業をハッキングするという劇的な見出しにもかかわらず、詳細を読むことが重要です。モデルはパスワードの推測に成功しました。これには、構造を理解してループを実行する機能のみが必要です。ただし、レポートでは、Gemini自体が複雑なゼロデイエクスプロイトを発明し、メモリ内の文書化されていない脆弱性を悪用したことについては言及されていません。

このテストでは、モデルは国家レベルの攻撃者レベルの優秀なハッカーとしてではなく、コンテキストを認識したブルートフォース攻撃の加速ツールとして機能しました。したがって、自律的なレッドチームへの期待は根拠に基づいたままでなければなりません。

異常なトラフィックへの対応速度が決定します

モデルの攻撃能力のシフトの真の証拠は、このアーキテクチャに基づいて構築された商用利用可能な攻撃プラットフォームが出現するかどうかです。それまで、このテストは主に、攻撃のブルートフォースがコンテキストターゲティングにおいてはるかに洗練されることを企業に警告するものです。

防衛システムが、自律エージェントの特定の行動パターンを検出する対抗策をいかに迅速に統合するかを注意深く見守る必要があります。

Lilithの判定

コンテキストからパスワードを推測するモデルは、超知能の誕生を示しているわけではありません。これは、企業のパスワードの絶望的な状態を示しており、APIキーを持つスクリプトキディが月に20ドルで悪用できるようになっています。