Hassabis chce 30-dniowego hamulca przed premierami frontier AI

Demis Hassabis zaproponował organ standardów dla frontier AI, który oceniałby najmocniejsze modele przed wejściem na rynek. Dla zespołów AI najważniejsza jest liczba 30 dni: tyle miałoby wynosić początkowe okno, w którym laboratoria dobrowolnie przekazują model do oceny.

Frontier modele trafiłyby do kontroli przed premierą

CEO Google DeepMind Demis Hassabis w tekście „A Framework for Frontier AI and the Dawning of a New Age“ proponuje nowy Standards Body wzorowany na FINRA. Nie ma to być klasyczny urząd w stylu FDA, lecz publiczno-prywatna albo samoregulacyjna organizacja z ekspertami technicznymi, przedstawicielami open-source i finansowaniem głównie z branży.

Plan zakłada, że frontier labs początkowo dobrowolnie udostępniałyby modele do 30 dni przed premierą. Jeśli protokół oceny się sprawdzi, według Hassabisa można go szybko sformalizować, a frontier modele musiałyby przejść ocenę przed wdrożeniem na rynku USA.

Oceny mają obejmować cyberbezpieczeństwo, zagrożenia biologiczne i inne obszary wysokiego ryzyka. Hassabis wspomina też testy zachowań agentowych, prób obchodzenia guardrails, oznak zwodzenia, watermarking obrazów AI i bardziej czytelne wyjścia pomagające rozumieć reasoning.

Bezpieczeństwo przestałoby być wyłącznie narracją dostawcy

Zmiana dotyczy tego, kto trzyma miarkę. Dziś model cards, wewnętrzne evals i selektywny red teaming nadal w dużej mierze kontrolują firmy wypuszczające modele. Hassabis próbuje stworzyć miejsce, w którym przynajmniej część oceny wychodzi poza zespół release.

Dla klientów enterprise to ma znaczenie. Certyfikat sam nie czyni modelu bezpiecznym, ale daje działom zakupów, bezpieczeństwa i compliance wspólny język do pytania, dlaczego dany model ma trafić do produkcji. Dla startupów i akademii istotne jest to, że propozycja wyraźnie wyłącza modele spoza kategorii frontier.

Samoregulacja omija polityczny opór, ale nie załatwia zaufania

Analogią do FINRA Hassabis trafia w polityczny nerw, bo omija sprzeciw wobec kolejnego dużego regulatora. W tym samym miejscu pojawia się słabość. Organ finansowany głównie przez laboratoria AI będzie musiał udowodnić, że nie jest drogim portierem, który ostatecznie wpuszcza każdego dużego klienta.

Drugie ryzyko to benchmark overfitting. Hassabis sam pisze, że testy powinny być regularnie aktualizowane, na początku być może kwartalnie, a z czasem obejmować niezależne held-out tests. Bez tego kontrola przed premierą szybko stanie się kolejną grą w znane zadania.

Liczyć będzie prawo do powiedzenia poczekajcie

Najbliższy sygnał nie przyjdzie z komunikatu prasowego, tylko z zakresu uprawnień. Jeśli organ będzie wyłącznie dobrowolnym forum, powstanie pożyteczny klub standardów. Jeśli będzie mógł opóźniać premiery, wymagać dodatkowych testów i obsługiwać post-release vulnerabilities, zacznie przypominać infrastrukturę zaufania.

Równie ważny będzie skład ludzi. Kompetencje techniczne, dostęp do compute i niezależność audytorów znaczą więcej niż nazwa na drzwiach. Frontier AI nie potrzebuje kolejnego uroczystego panelu. Potrzebuje kogoś, kto potrafi zajrzeć pod maskę i nie wypuścić auta na drogę.

Werdykt Lilith

Hassabis nie buduje sądu dla AI, tylko punkt kontroli na granicy release. Diabeł tkwi w tym, czy strażnik dostanie gwizdek, czy tylko elegancką tabliczkę na drzwiach.