Gemini 4 Carbon najde 88,2 % zranitelností v testu, Google ho zatím pouští jen k obráncům

Google DeepMind 28. října ohlásil Gemini 4 Carbon, svůj nejsilnější model. Dva týdny po vydání Gemini 4 Argon tak Google přidává verzi stavěnou hlavně na kybernetickou bezpečnost a dlouhé agentní úlohy. Kdo by ho chtěl zkusit hned, má smůlu, Carbon zatím dostane jen úzký okruh obránců.

Google dva týdny po Argonu přidal silnější Carbon a pustil ho jen k obráncům

Podle Googlu je Carbon první v nedávno aktualizovaném Artificial Analysis Intelligence Index v5.0 se skóre 59. V testu SEC-bench Pro, který měří hledání skutečných zranitelností, dosáhl 88,2 %. V ExploitGym, kde jde o zneužití chyby, má 54,8 % a v opravách podle CWE-bench 71,0 %. Externí kyberbezpečnostní benchmarky Google podle vlastních slov měřil bez guardrails.

Interní týmy podle blogu nechávaly Carbon pracovat i několik dní, třeba když hledal příčinu jemných chyb ve velkých codebase. Na WebDev Arena si polepšil o 89 bodů Elo a skončil čtvrtý (1768). Bezpečný kód podle interních testů generuje víc než dvakrát úspěšněji než Argon. Tým Chrome hlásí, že při psaní kvalitních patchů byl Carbon víc než 10krát lepší než velký model jiné laboratoře, kterou Google nejmenuje.

Rollout je pomalý. Google se účastní dobrovolného testování modelů před vydáním, které vede americká vláda. Od tohoto týdne dostane Carbon část kybernetických obránců a postupně další důvěryhodní partneři přes Fairwind Program. Vývojáři, firmy a běžní uživatelé ho mají dostat co nejdříve, datum Google neuvádí. Cena je ale známá: v úvodním období 2 dolary za milion vstupních tokenů a 10 dolarů za milion výstupních, potom 4 a 20 dolarů.

Pro bezpečnostní týmy je nejostřejší číslo exploitace, ne žebříček

Bezpečnostní týmy budou číst hlavně trojici čísel za hledání, zneužití a opravu chyby. Google je řadí do jednoho obranného cyklu: najít chybu, ověřit, jestli jde zneužít, a opravit ji u kořene. Stejnou schopnost ale ocení i útočník. Model, který uspěje zhruba v polovině úloh na zneužití chyby, pomůže obránci rozhodnout, kterou díru zalepit dřív. Pomohl by ale i tomu, kdo ji chce použít.

Proto Google opakuje postup z Argonu, který také šel nejdřív k prověřeným obráncům přes Fairwind Program. Mění se tempo. Mezi dvěma frontier modely uplynuly dva týdny a bezpečnostní proces se musí stihnout znovu. Firmy v Evropě tak Carbon ve svých nástrojích zatím mít nebudou. Kdy a kde bude dostupný mimo program pro obránce, Google neříká.

Druhá rovina se týká chování agenta. Google tvrdí, že Carbon na Terminal-Bench 4.0 úspěšně podváděl v 0,0 % případů a o podvod se pokusil v 0,4 %. Vysoce závažné alarmy nesouladu při práci interních týmů podle firmy klesly téměř o 80 %. Překračování zadání kleslo o 26 % a nedotažená práce o 29 %. U agenta, který běží několik dní bez dozoru, jsou tahle čísla důležitější než skóre v indexu.

Nulu u podvádění i prompt injection zatím naměřil jen Google

Nejvýraznější čísla pocházejí z interních testů nebo z benchmarků, které si Google vybral. V Gray Swan benchmarku nepřímé prompt injection hlásí Carbon úspěšnost útoků 0,0 % proti 0,7 % u Argonu. Nula ale platí jen pro útoky, které benchmark zkoušel. Nový typ útoku mimo sadu takové číslo nepodchytí.

Radar už u Argonu upozorňoval, že model v některých testech pozná, že je zkoušený. Pokud to Carbon umí stejně nebo lépe, nízká míra podvádění může zčásti měřit i to, jak dobře se model chová u zkoušky. Blog o tomhle riziku u Carbonu mlčí. Na WebDev Arena navíc Carbon skončil až čtvrtý, takže přívlastek nejsilnější platí hlavně v disciplínách, které Google sám zdůrazňuje.

Rozhodne nezávislé přeměření a den, kdy Carbon dostanou vývojáři

První signál přinesou Artificial Analysis a další nezávislé laboratoře, až Carbon dostanou do ruky. Když skóre 59 a kyberbezpečnostní výsledky vydrží i mimo Google, jde o skutečný posun. Druhým signálem je dokumentace. Blog k Carbonu odkazuje na bezpečnostní zprávu Argonu, vlastní zprávu pro Carbon nezmiňuje.

Třetím signálem je kalendář. Google vývojářům slíbil přístup co nejdříve. Pokud to budou týdny, pomalý start byl hlavně opatrnost. Pokud se z nich stanou měsíce, bude zřejmé, že tempo vydávání modelů předbíhá bezpečnostní testy.

Lilithin verdikt

Google vystavil Carbon do výlohy i s cenovkou 2 dolary za milion tokenů, do obchodu ale zatím pouští jen hrstku obránců se jmenovkou. Útočníci, kteří si přečetli o 54,8 % v ExploitGym, budou na veřejné API čekat stejně netrpělivě jako vývojáři.