Anthropic navrhuje zákon, podle kterého model zastaví jen soudce. A jen když hrozí přes 50 mrtvých

Anthropic obchází americké zákonodárce s vlastním návrhem federálního zákona o bezpečnosti AI. Píše o tom Politico a po něm TechCrunch. Model by šlo zastavit, pokud hrozí víc než 50 mrtvých nebo škoda přes 1 miliardu dolarů. Rozhodnout o tom ale smí jen soud. Plný text návrhu není veřejně dostupný, takže článek vychází z pasáží, které citují média.

Model zastaví jen soud, a to až po hlášení placeného hodnotitele

Návrh pracuje s „předvídatelným, bezprostředním rizikem“. Počítají se tři zdroje katastrofy: biologická zbraň, model, který unikne kontrole svého vývojáře, a kybernetický útok. Prahy 50 obětí a 1 miliardy dolarů škody se podobají kalifornskému zákonu SB 53, který jimi definuje katastrofické riziko.

Riziko by posuzovali nezávislí hodnotitelé registrovaní u amerického ministerstva obchodu. Platit by je mohly samy laboratoře, pokud odměna nezávisí na výsledku hodnocení. Když hodnotitel zjistí bezprostřední katastrofické riziko, má 72 hodin na nahlášení ministerstvu. To pak musí požádat soudce ve Washingtonu o zastavení vydání modelu. Návrh podle Politica výslovně zakazuje, aby kterýkoli federální úřad zastavil šíření modelu z vlastního rozhodnutí.

Mluvčí Anthropic návrh Politicu potvrdil. Text podle něj jen dává do paragrafů Advanced AI Framework. Ten firma od června nosí federálním i státním zákonodárcům.

Laboratoř si píše pravidla, podle kterých ji bude stát kontrolovat

Minulý týden unikla starší verze. Kritici tehdy řešili hlavně to, kolik moci by návrh vzal státům. Teď má Anthropic text potvrzený a pozornost se přesouvá k mechanice zásahu. Každý krok má svého hlídače. Hodnotitel musí riziko najít, ministerstvo podat žádost a soudce ji schválit. Rychlou cestu, kdy by úřad model sám pozastavil, návrh zavírá.

Pro laboratoře je to předvídatelný režim. Vědí, jaké scénáře se počítají, kdo je smí vyhodnotit a že o zásahu rozhodne soud. Proti tomu stojí postoj části odvětví: šéf Nvidie Jensen Huang nedávno tvrdil, že AI žádné nové zákony nepotřebuje. Návrh Anthropic tak jde dál než většina průmyslových návrhů. Zároveň ale vymezuje, kudy přesně státní dohled smí vést.

Hodnotitel placený laboratoří a úzký seznam katastrof

Nejslabší místo je nezávislost. Pravidlo, že platba nesmí záviset na výsledku, neřeší, že laboratoř si hodnotitele vybírá a může ho příště nenajmout. TechCrunch upozorňuje, že návrh nevysvětluje, jak by vliv peněz vyloučil. Podobná debata už běží kolem hodnotitelů, které chtějí Anthropic a OpenAI umístit přímo do svých firem.

Druhým limitem je rozsah. Biologická zbraň, ztráta kontroly a útok na sítě jsou vážné scénáře. Laťka „bezprostředního“ rizika s 50 oběťmi ale zachytí jen extrémy. Letos odvětví trápí hlavně agenti, kteří útočí na weby, a modely, které neposlouchají své operátory. Tak vysoko ty potíže sotva dosáhnou. A 72 hodin na hlášení plus soudní řízení je dlouhá doba, pokud riziko opravdu hrozí okamžitě.

Rozhodne, kdo text v Kongresu podá a co z něj přežije

Prvním signálem bude sponzor. Dokud návrh nepředloží senátor nebo poslanec, jde o lobbistický dokument jedné firmy. Druhým bude, jestli se do textu dostanou přísnější pravidla pro nezávislost hodnotitelů, například jejich přidělování státem místo výběru laboratoří.

Sledovat stojí i reakci ostatních laboratoří. Pokud se OpenAI nebo Google k rámci přidají, stane se z návrhu Anthropic výchozí pozice celého odvětví. Pokud ho odmítnou, zůstane z něj spíš ukázka toho, jak si jedna firma představuje dohled, který ji nezdrží.

Lilithin verdikt

Hasiče tu smí přivolat jen ten, komu laboratoř platí, a hadici povolí až soudce ve Washingtonu. Na požár, který má podle návrhu zabít přes 50 lidí, je to dlouhá chodba.