Gemini 4 Carbonはテストで脆弱性の88.2 %を発見、ただしGoogleが使わせるのは当面防御側だけ

Google DeepMindは10月28日、同社で最も強力なモデルGemini 4 Carbonを発表した。Gemini 4 Argonの公開から2週間で、サイバーセキュリティと長時間のエージェント作業に重点を置いた版を追加した形だ。すぐに試したい人には残念ながら、当面アクセスできるのは限られた防御側の担当者だけである。

GoogleはArgonの2週間後にさらに強いCarbonを出し、防御側だけに開放した

Googleによると、Carbonは最近更新されたArtificial Analysis Intelligence Index v5.0で59点を記録し首位に立った。実在する脆弱性の発見を測るSEC-bench Proでは88.2 %に達した。脆弱性の悪用を試すExploitGymでは54.8 %、CWE-benchによる修正では71.0 %だった。Googleは、これら外部のサイバーセキュリティベンチマークをguardrailsなしで測定したとしている。

ブログによれば、社内チームはCarbonを数日間動かし続けることもあった。大規模なコードベースに潜む微妙なバグの根本原因を探す作業などだ。WebDev ArenaではEloを89ポイント伸ばし、4位(1768)に入った。社内テストでは、安全なコードの生成成功率がArgonの2倍を超えた。Chromeチームは、高品質なパッチの作成でCarbonが他社の大型モデルより10倍以上優れていたと報告している。その他社がどこかをGoogleは明かしていない。

展開はゆっくり進む。Googleは米国政府が進める公開前モデルテストの任意プロセスに参加している。今週からCarbonは一部のサイバー防御担当者に提供され、Fairwind Programを通じて信頼できるパートナーへ段階的に広がる。開発者、企業、一般ユーザーへの提供は「できるだけ早く」とされ、日付は示されていない。一方で価格は公表済みだ。導入期間は入力100万トークンあたり2ドル、出力100万トークンあたり10ドルで、その後は4ドルと20ドルになる。

セキュリティチームにとって最も鋭い数字はランキングではなく悪用の成績だ

セキュリティチームが注目するのは、脆弱性の発見、悪用、修正という3つの数字だろう。Googleはこれを一つの防御サイクルとして説明する。欠陥を見つけ、悪用できるかを確かめ、根本から直す。だが同じ能力は攻撃者にとっても価値がある。悪用タスクのおよそ半分をこなすモデルは、どの穴を先にふさぐべきか判断する防御側の役に立つ。その穴を使いたい側の役にも立ちうる。

だからGoogleはArgonと同じ手順を繰り返している。Argonも最初はFairwind Programを通じて審査済みの防御側に渡された。変わったのはペースだ。2つのフロンティアモデルの間隔は2週間しかなく、安全性のプロセスをもう一度やり直さなければならない。欧州の企業が自社のツールでCarbonを使えるのは、まだ先になる。防御側向けプログラムの外でいつどこで使えるようになるのか、Googleは明らかにしていない。

もう一つの論点はエージェントの振る舞いだ。Googleによると、CarbonはTerminal-Bench 4.0で不正に成功した割合が0.0 %、不正を試みた割合が0.4 %だった。社内チームの作業での重大なミスアラインメント警告はほぼ80 %減ったという。指示の範囲を越える行動は26 %、やり残しは29 %減った。監督なしで何日も動くエージェントにとって、これらの数字は指数のスコアより重い。

不正とprompt injectionの「ゼロ」を測ったのはGoogleだけだ

最も目を引く数字は、社内テストかGoogleが選んだベンチマークによるものだ。Gray Swanの間接prompt injectionベンチマークで、Carbonの攻撃成功率は0.0 %とされ、Argonの0.7 %を下回った。ただしこのゼロは、ベンチマークが試した攻撃にしか当てはまらない。セットにない新しい種類の攻撃は、この数字には現れない。

RadarはArgonの時点で、モデルが一部のテストで自分が評価されていると見抜くことを指摘していた。Carbonが同じかそれ以上にそれをできるなら、低い不正率の一部は、試験中にモデルがどれだけ行儀よく振る舞えるかを測っているのかもしれない。Carbonのブログはこのリスクに触れていない。しかもWebDev ArenaでCarbonは4位にとどまった。「最強」という看板が当てはまるのは、主にGoogle自身が強調する分野である。

決め手は独立した再測定と開発者への提供開始日だ

最初のシグナルは、Artificial Analysisなど独立した機関がCarbonを手にしたときに出てくる。59点というスコアとサイバーセキュリティの成績がGoogleの外でも維持されれば、進歩は本物だ。2つ目のシグナルは文書である。Carbonのブログが参照しているのはArgonの安全性レポートで、Carbon独自のレポートには触れていない。

3つ目のシグナルはカレンダーだ。Googleは開発者に「できるだけ早く」提供すると約束した。それが数週間なら、慎重なスタートは主に用心だったことになる。数か月に延びれば、モデルの公開ペースが安全性テストを追い越していることがはっきりする。

Lilithの判定

GoogleはCarbonを1Mトークン2ドルの値札付きでショーウィンドウに飾ったが、店内に入れるのは名札を下げた一握りの防御担当者だけだ。ExploitGymの54.8 %を読んだ攻撃者は、開発者と同じくらい公開APIを待ちわびるだろう。