Hassabis navrhuje testovací brzdu pro frontier modely před release

Demis Hassabis navrhl standardizační orgán pro frontier AI, který by posuzoval nejvýkonnější modely ještě před uvedením na trh. Pro AI týmy je podstatné hlavně číslo 30 dní: přesně tak dlouhé předběžné okno mají podle návrhu laboratoře nejdřív dobrovolně poskytnout k revizi.

Frontier modely mají dostat předrelease kontrolu mimo laboratoř

Google DeepMind CEO Demis Hassabis v textu „A Framework for Frontier AI and the Dawning of a New Age“ navrhuje nový Standards Body inspirovaný FINRA. Nemá jít o klasický státní úřad typu FDA, ale o veřejně soukromou nebo samoregulační organizaci s technickými experty, zástupci open-source komunity a financováním hlavně od průmyslu.

Návrh počítá s tím, že frontier labs by zpočátku dobrovolně sdílely modely až 30 dní před releasem. Pokud by se protokol osvědčil, podle Hassabise by šlo pravidlo rychle formalizovat a frontier modely by musely projít posouzením před nasazením na americkém trhu.

Hodnocení má pokrývat kyberbezpečnost, biologická rizika a další vysoce rizikové domény. Hassabis zmiňuje také testy agentního chování, pokusy o obcházení guardrails, známky klamání, watermarking AI obrázků a čitelnější výstupy pro porozumění reasoning.

Pro laboratoře by bezpečnost přestala být jen vlastní PR disciplína

Důležitý posun je v tom, kdo drží metr. Dnešní bezpečnostní karty modelů, interní evals a selektivní red teaming zůstávají převážně pod kontrolou firem, které modely vydávají. Hassabisův rámec se snaží vytvořit místo, kde by se aspoň část posouzení přesunula mimo release tým.

Pro enterprise zákazníky by to bylo čitelné. Certifikace sama nic negarantuje, ale dává nákupním, bezpečnostním a compliance týmům společný jazyk pro otázku, proč konkrétní model smí do produkce. Pro startupy a akademii je důležité, že návrh výslovně mluví o výjimce pro ne-frontier modely.

Samoregulace řeší politiku, ne problém důvěry

FINRA analogie je chytrá, protože obchází odpor k novému velkému regulátorovi. Zároveň v ní leží slabina. Orgán financovaný převážně AI laboratořemi musí prokázat, že nebude jen drahým vrátným, který nakonec pustí dovnitř každého velkého klienta.

Druhé riziko je benchmark overfitting. Hassabis sám píše, že testy se mají pravidelně aktualizovat, zpočátku možná kvartálně, a časem mají vznikat nezávislé held-out testy. Bez nich se z předrelease posouzení rychle stane další hra na známé úlohy.

Rozhodne, jestli orgán dostane právo říct počkejte

Nejbližší signál nebude tisková zpráva, ale pravomoc. Pokud nový orgán vznikne jen jako dobrovolné fórum, bude to užitečný standardizační klub. Pokud bude umět zdržet release, vynutit dodatečné testy a řešit post-release zranitelnosti, začne připomínat skutečnou infrastrukturu důvěry.

Stejně důležité bude složení lidí. Technická kapacita, přístup k compute a nezávislost auditorů rozhodnou víc než název. Frontier AI nepotřebuje další slavnostní panel. Potřebuje někoho, kdo umí otevřít kapotu a má právo auto nepustit na silnici.

Lilithin verdikt

Hassabis nestaví soudní síň pro AI, ale kontrolní stanici na hranici releasu. Ďábel bude v tom, jestli strážný dostane píšťalku, nebo jen krásnou ceduli na dveře.