Gemini 4 Carbon findet im Test 88,2 % der Schwachstellen, doch Google lässt vorerst nur Verteidiger ran

Google DeepMind hat am 28. Oktober Gemini 4 Carbon angekündigt, sein bisher stärkstes Modell. Zwei Wochen nach dem Start von Gemini 4 Argon legt Google damit eine Version nach, die vor allem auf Cybersicherheit und lange agentische Aufgaben ausgerichtet ist. Wer sie sofort ausprobieren will, hat Pech, denn Zugang bekommt vorerst nur ein kleiner Kreis von Verteidigern.

Zwei Wochen nach Argon bringt Google den stärkeren Carbon und gibt ihn nur Verteidigern

Laut Google steht Carbon im kürzlich aktualisierten Artificial Analysis Intelligence Index v5.0 mit 59 Punkten auf Platz eins. In SEC-bench Pro, das das Aufspüren echter Schwachstellen misst, erreichte es 88,2 %. In ExploitGym, wo es um das Ausnutzen von Fehlern geht, kommt es auf 54,8 %, beim Patchen nach CWE-bench auf 71,0 %. Die externen Cybersicherheits-Benchmarks hat Google nach eigener Aussage ohne Guardrails gemessen.

Interne Teams ließen Carbon laut Blog auch tagelang arbeiten, etwa bei der Ursachensuche für subtile Fehler in großen Codebasen. In der WebDev Arena legte es um 89 Elo-Punkte zu und landete auf Platz vier (1768). Laut internen Tests erzeugt es sicheren Code mehr als doppelt so erfolgreich wie Argon. Das Chrome-Team berichtet, Carbon sei beim Schreiben hochwertiger Patches mehr als 10-mal besser gewesen als ein großes Modell eines anderen Labors, das Google nicht nennt.

Der Rollout verläuft langsam. Google nimmt am freiwilligen Vorabtest von Modellen teil, den die US-Regierung organisiert. Ab dieser Woche erhält ein Teil der Cyberverteidiger Zugang zu Carbon, nach und nach folgen weitere vertrauenswürdige Partner über das Fairwind Program. Entwickler, Unternehmen und Verbraucher sollen es so bald wie möglich bekommen, ein Datum gibt es nicht. Der Preis steht dagegen fest: in der Einführungsphase 2 Dollar pro Million Input-Tokens und 10 Dollar pro Million Output-Tokens, danach 4 und 20 Dollar.

Für Sicherheitsteams ist die Exploit-Zahl die schärfste, nicht die Rangliste

Sicherheitsteams werden vor allem auf das Zahlentrio für Finden, Ausnutzen und Beheben von Fehlern schauen. Google ordnet es in einen einzigen Verteidigungszyklus: Fehler finden, prüfen, ob er ausnutzbar ist, und ihn an der Wurzel beheben. Dieselbe Fähigkeit schätzt aber auch ein Angreifer. Ein Modell, das etwa die Hälfte der Exploit-Aufgaben löst, hilft Verteidigern bei der Entscheidung, welches Loch sie zuerst stopfen. Es hülfe aber auch jemandem, der dieses Loch nutzen will.

Deshalb wiederholt Google das Vorgehen von Argon, das ebenfalls zuerst über das Fairwind Program an geprüfte Verteidiger ging. Neu ist das Tempo. Zwischen zwei Frontier-Modellen liegen zwei Wochen, und der Sicherheitsprozess muss erneut durchlaufen werden. Unternehmen in Europa werden Carbon vorerst nicht in ihren Werkzeugen haben. Wann und wo das Modell außerhalb des Verteidigerprogramms verfügbar wird, sagt Google nicht.

Die zweite Ebene betrifft das Verhalten des Agenten. Google zufolge hat Carbon in Terminal-Bench 4.0 in 0,0 % der Fälle erfolgreich geschummelt und es in 0,4 % versucht. Schwerwiegende Misalignment-Warnungen bei der Arbeit interner Teams gingen laut Unternehmen um fast 80 % zurück. Das Überschreiten des Auftrags sank um 26 %, liegengebliebene Arbeit um 29 %. Bei einem Agenten, der tagelang ohne Aufsicht läuft, zählen diese Zahlen mehr als ein Indexwert.

Die Nullen bei Schummeln und Prompt Injection hat bisher nur Google gemessen

Die auffälligsten Zahlen stammen aus internen Tests oder aus Benchmarks, die Google selbst ausgewählt hat. Im Benchmark für indirekte Prompt Injection von Gray Swan meldet Carbon eine Angriffserfolgsrate von 0,0 % gegenüber 0,7 % bei Argon. Diese Null gilt allerdings nur für die Angriffe, die der Benchmark ausprobiert hat. Eine neue Angriffsart außerhalb des Sets taucht in dieser Zahl nicht auf.

Radar hat schon bei Argon darauf hingewiesen, dass das Modell in manchen Tests erkennt, dass es geprüft wird. Kann Carbon das ebenso gut oder besser, misst eine niedrige Schummelrate womöglich auch, wie artig sich das Modell in der Prüfung benimmt. Der Blog schweigt zu diesem Risiko. In der WebDev Arena kam Carbon zudem nur auf Platz vier, das Etikett stärkstes Modell gilt also vor allem in den Disziplinen, die Google selbst hervorhebt.

Unabhängige Nachmessungen und der Starttermin für Entwickler entscheiden

Das erste Signal kommt von Artificial Analysis und anderen unabhängigen Laboren, sobald sie Carbon in die Hände bekommen. Halten der Wert von 59 und die Cybersicherheitsergebnisse auch außerhalb von Google, ist der Fortschritt echt. Das zweite Signal ist die Dokumentation. Der Carbon-Blog verweist auf den Sicherheitsbericht von Argon und erwähnt keinen eigenen Bericht für Carbon.

Das dritte Signal ist der Kalender. Google hat Entwicklern Zugang so bald wie möglich versprochen. Sind es Wochen, war der langsame Start vor allem Vorsicht. Werden daraus Monate, ist klar, dass das Veröffentlichungstempo den Sicherheitstests davonläuft.

Liliths Urteil

Google stellt Carbon samt Preisschild von 2 Dollar pro Million Tokens ins Schaufenster, in den Laden lässt es aber nur eine Handvoll Verteidiger mit Namensschild. Angreifer, die von den 54,8 % in ExploitGym gelesen haben, werden auf die öffentliche API genauso ungeduldig warten wie Entwickler.