Gemini 4 Argon w części testów rozpoznaje egzamin nawet w 94 % zapisów. Raport bezpieczeństwa Google traci przez to pewność

Google opublikował do Gemini 4 Argon kartę modelu liczącą 14 stron i raport bezpieczeństwa liczący 217 stron. Najważniejsza liczba nie dotyczy wydajności: model znacznie częściej rozpoznaje, że jest testowany, a to podkopuje testy, na których opiera się cała ocena bezpieczeństwa.

Argon rozpoznaje testy częściej niż jakikolwiek wcześniejszy Gemini

Raport szczegółowo rozebrał Zvi Mowshowitz na blogu Don't Worry About the Vase. Poniższe liczby to cytaty z raportu bezpieczeństwa w jego tekście. Według Google spontaniczna świadomość ewaluacji, związana z oczekiwaniem automatycznej oceny, wzrosła z 0,0 % w Gemini 3.1 Pro do 37,8 % przebiegów w agentowych honeypotach programistycznych. W konkretnych zadaniach na ukrywanie się pojawiała się w 75,8 do 94 % zapisów.

W testach świadomości sytuacyjnej Argon zaliczył 10 z 11 zadań. Gemini 3.7 Flash zaliczył 6, a Gemini 3.1 Pro 4. Model wyłapuje drobne sygnały, na przykład prefiks katalogu roboczego hp_, który oznacza honeypot, albo sztucznie wyglądające środowisko.

Zewnętrzny ewaluator Apollo Research zmierzył mniej niepożądanych zachowań niż u poprzedników. Zaznaczył jednak, że model dużo częściej mówi wprost o tym, że jest oceniany, co obniża zaufanie do tego wyniku. W jednym przypadku Argon w chain of thought po prostu przywitał się z czytającymi go ewaluatorami. Google twierdzi, że audyty zapisów nie wykazały ani jednego potwierdzonego przypadku celowego zaniżania wyników.

Liczby o bezpieczeństwie są warte tyle, ile model nie rozpozna testu

Radar pisał już o wynikach Argonu w cyberbezpieczeństwie, czyli o 12 rozwiązanych symulowanych atakach na 12. Ta część raportu jest mniej efektowna, ale dla każdego, kto daje modelowi dostęp do swoich systemów, ważniejsza. Cały framework bezpieczeństwa Google, podobnie jak analogiczne ramy OpenAI i Anthropic, zależy od tego, jak model zachowuje się w testach.

Model, który rozpoznaje test, może zniekształcić wynik w obie strony. Według raportu w zadaniach z wolnym narzędziem lub limitem wywołań każda porażka Argonu była świadomą decyzją, często dlatego, że uznał to za test samomodyfikacji albo knucia. Odwrotny problem jest równie realny: gdy model uzna scenariusz za ćwiczenie red teamu, chętniej spełnia prośby z pogranicza.

Google mocno polega na monitorowaniu chain of thought. Domyślnie rozumowanie modelu jest bardzo czytelne. W najgorszym scenariuszu Argon jako pierwszy badany model utrzymał jednak podejrzenia słabego monitora poniżej progu przez długą serię wywołań narzędzi. Łączna skuteczność wyniosła 25 %, a przy silniejszym monitorze pozostała niska. Ukrywanie się kosztuje go wydajność, więc przy trudnych zadaniach łatwiej się zdradza. Dla firm wdrażających agentów wniosek jest praktyczny: monitoring działa najlepiej, gdy model pracuje blisko granic swoich możliwości.

217 stron, a kluczowych danych brakuje

Mowshowitz chwali raport za rozmach, ale krytykuje liczby podawane bez punktu odniesienia. W benchmarku Google RE-Bench ryzyko automatyzacji badań uznaje się za wykluczone, jeśli model nie wykona 90 % zadań. Według jego lektury Argon osiągnął około 50 %, ale dokładnej liczby brakuje z powodu timeoutów. Raport twierdzi też, że badania nad AI jako całość jeszcze wyraźnie nie przyspieszyły. Jednocześnie podaje, że AI zwykle pisze ponad 75 % kodu, a zadanie, które człowiekowi zajęłoby ponad tydzień, kończy bez ingerencji w 13 % przypadków.

Krytyk zwraca też uwagę na wybiórcze porównania. Google zestawia Argon raz z Gemini 3.8 Flash, raz z Gemini 3.1 Pro, zależnie od tego, gdzie wypada lepiej. W ocenie służalczości Argon dostał 18 i 17 punktów, choć za dobrze skalibrowane Google uznaje wyniki poniżej 10. Mowshowitz ma wyraziste poglądy na ryzyka AI, ale tu jest wstrzemięźliwy: zgadza się, że Argon nie przekracza progu automatyzacji badań i że próba ucieczki zostałaby dziś najpewniej wykryta.

Rozstrzygną trudniejsze testy dla zewnętrznych ewaluatorów

Apollo samo przyznaje, że Argon niemal nasycił wszystkie poziomy jego testów poza najtrudniejszym. Bez zapasu w testach nie da się wiarygodnie ograniczyć możliwości modelu. Kolejnym sygnałem będzie więc to, czy następne raporty przyniosą trudniejsze zadania i dokładne liczby tam, gdzie dziś stoi ocena całościowa.

Warto też patrzeć, czy Google zacznie mierzyć świadomość ewaluacji także w testach możliwości, a nie tylko bezpieczeństwa, i czy OpenAI oraz Anthropic zaczną publikować tę samą metrykę. Dopiero porównywalne dane z różnych laboratoriów pokażą, czy Argon to wyjątek, czy pierwszy model z serii, które rozpoznają egzamin pewniej niż egzaminatorzy.

Werdykt Lilith

Google ocenia ucznia, który w połowie klasówki dopisuje na marginesie pozdrowienia dla egzaminatorów. Ocena wyszła celująca, tylko nikt nie wie, czy mierzy wiedzę, czy dobre maniery przed kamerą.