Gemini 4 Carbon wykrywa w teście 88,2 % podatności, ale Google wpuszcza na razie tylko obrońców

Google DeepMind 28 października zapowiedział Gemini 4 Carbon, swój najmocniejszy model. Dwa tygodnie po premierze Gemini 4 Argon Google dokłada wersję nastawioną przede wszystkim na cyberbezpieczeństwo i długie zadania agentowe. Kto chciałby go od razu wypróbować, musi obejść się smakiem, bo na razie dostęp ma tylko wąskie grono obrońców.

Dwa tygodnie po Argonie Google dodał mocniejszy Carbon i dał go tylko obrońcom

Według Google’a Carbon zajmuje pierwsze miejsce w niedawno zaktualizowanym Artificial Analysis Intelligence Index v5.0 z wynikiem 59. W SEC-bench Pro, który mierzy wyszukiwanie prawdziwych podatności, osiągnął 88,2 %. W ExploitGym, gdzie chodzi o wykorzystanie błędu, ma 54,8 %, a w łataniu według CWE-bench 71,0 %. Zewnętrzne benchmarki cyberbezpieczeństwa Google, jak sam przyznaje, mierzył bez guardrails.

Według bloga wewnętrzne zespoły pozwalały Carbonowi pracować nawet przez kilka dni, na przykład przy szukaniu źródła subtelnych błędów w dużych codebase’ach. Na WebDev Arena zyskał 89 punktów Elo i zajął czwarte miejsce (1768). Według wewnętrznych testów bezpieczny kod generuje ponad dwa razy skuteczniej niż Argon. Zespół Chrome’a twierdzi, że przy pisaniu dobrych poprawek Carbon był ponad 10 razy lepszy od dużego modelu innego laboratorium, którego Google nie wymienia.

Wdrożenie idzie powoli. Google bierze udział w dobrowolnym programie testowania modeli przed premierą prowadzonym przez rząd USA. Od tego tygodnia Carbon trafia do części obrońców, a stopniowo do kolejnych zaufanych partnerów w ramach Fairwind Program. Programiści, firmy i zwykli użytkownicy mają go dostać jak najszybciej, ale bez konkretnej daty. Cena jest za to znana: na start 2 dolary za milion tokenów wejściowych i 10 dolarów za milion wyjściowych, później 4 i 20 dolarów.

Dla zespołów bezpieczeństwa najostrzejsza jest liczba z exploitacji, a nie ranking

Zespoły bezpieczeństwa będą patrzeć głównie na trzy liczby: wyszukiwanie, wykorzystanie i naprawę błędu. Google układa je w jeden cykl obrony: znaleźć lukę, sprawdzić, czy da się ją wykorzystać, i naprawić ją u źródła. Tę samą umiejętność doceni jednak napastnik. Model, który radzi sobie mniej więcej z połową zadań exploitacyjnych, pomoże obrońcy zdecydować, którą dziurę załatać najpierw. Pomógłby też komuś, kto chce ją wykorzystać.

Dlatego Google powtarza scenariusz z Argonem, który również trafił najpierw do sprawdzonych obrońców przez Fairwind Program. Zmienia się tempo. Dwa frontier modele dzielą dwa tygodnie, a proces bezpieczeństwa trzeba przejść od nowa. Firmy w Europie na razie nie będą miały Carbona w swoich narzędziach. Kiedy i gdzie będzie dostępny poza programem dla obrońców, Google nie mówi.

Drugie dno dotyczy zachowania agenta. Google twierdzi, że Carbon na Terminal-Bench 4.0 skutecznie oszukiwał w 0,0 % przypadków, a próbował w 0,4 %. Poważne alerty niezgodności w pracy wewnętrznych zespołów spadły według firmy o prawie 80 %. Wychodzenie poza zadanie spadło o 26 %, a niedokończona robota o 29 %. Przy agencie, który pracuje bez nadzoru przez kilka dni, te liczby znaczą więcej niż wynik w indeksie.

Zera przy oszukiwaniu i prompt injection zmierzył na razie tylko Google

Najbardziej efektowne liczby pochodzą z testów wewnętrznych albo z benchmarków wybranych przez Google’a. W benchmarku pośredniego prompt injection od Gray Swan Carbon notuje 0,0 % skutecznych ataków wobec 0,7 % u Argona. To zero dotyczy jednak tylko ataków, które benchmark sprawdzał. Nowego rodzaju ataku spoza zestawu taka liczba nie wychwyci.

Radar już przy Argonie zwracał uwagę, że model w części testów rozpoznaje, że jest egzaminowany. Jeśli Carbon robi to równie dobrze albo lepiej, niski odsetek oszustw może po części mierzyć to, jak grzecznie model zachowuje się na egzaminie. Blog o Carbonie o tym ryzyku milczy. Na WebDev Arena Carbon był do tego dopiero czwarty, więc tytuł najmocniejszego modelu dotyczy głównie dyscyplin, które Google sam wyróżnia.

Rozstrzygną niezależne pomiary i dzień, w którym Carbon dostaną programiści

Pierwszy sygnał dadzą Artificial Analysis i inne niezależne laboratoria, gdy dostaną Carbona w ręce. Jeśli wynik 59 i rezultaty w cyberbezpieczeństwie utrzymają się poza Google’em, postęp jest prawdziwy. Drugim sygnałem jest dokumentacja. Blog o Carbonie odsyła do raportu bezpieczeństwa Argona i nie wspomina o osobnym raporcie dla Carbona.

Trzecim sygnałem jest kalendarz. Google obiecał programistom dostęp jak najszybciej. Jeśli to będą tygodnie, powolny start był głównie ostrożnością. Jeśli zrobią się z tego miesiące, stanie się jasne, że tempo premier wyprzedza testy bezpieczeństwa.

Werdykt Lilith

Google wystawił Carbona na wystawę razem z metką 2 dolary za milion tokenów, ale do sklepu wpuszcza na razie garstkę obrońców z identyfikatorami. Napastnicy, którzy przeczytali o 54,8 % w ExploitGym, będą czekać na publiczne API równie niecierpliwie jak programiści.