Dario Amodei (Anthropic) vyzyva k pribrzdeni AI. Chce nasadit auditory primo do firem

Laboratore slibuji, ze pusti externi auditory dovnitr

Dario Amodei v novem eseji nacrtl tristupnovy plan pro ziskani kontroly nad zrychlujicim se vyvojem AI. Hlavnim a okamzitym krokem je vpustit do AI firem takzvane embedded evaluators - experty z nezavislych organizaci jako je METR. Ti by meli dostat firemni badge, fyzicky stul v laboratori a uroven pristupu srovnatelnou s internimi risk tymy (s vyjimkou toho, co zakazuje zakon). Maji overovat dodrzovani bezpecnostnich standardu a to, ze se nezametaji incidenty pod koberec.

Anthropic se k tomuto kroku jednostranne zavazal. Kratce na to Sam Altman (OpenAI) oznacil napad za dobry a uvedl, ze OpenAI udela totez.

Kdo a jak nastavi strop rychlosti

Druhy krok planu vyzyva laboratore v demokratickych zemich, aby koordinovane nastavily limity na to, jak rychle mohou modely postupovat. Amodei tu upozornuje na realnou byznysovou barieru: firmy se boji, ze dohoda o zpomaleni by okamzite pritahla pozornost antimonopolnich uradu jako zakazany kartel. Proto zada vladu USA, aby diskusi nemusela primo vest, ale alespon ji vydala uzkou antimonopolni vyjimku.

Tretim krokem ma byt globalni koordinace. USA a jejich spojenci by se meli pokusit koordinovat i s autoritarskymi vladami, primarne s Cinou. Amodei priznava limity, ale doufa aspon v dohodu na zakazu vyuzivani AI k vyvoji biologickych zbrani.

Apel na opatrnost, nebo zablokovani konkurence?

Amodei argumentuje, ze modely zacinaji byt znepokojive schopne budovat dalsi generaci AI, a narazi na incidenty typu nedavneho hacku mezi OpenAI a Hugging Face. Jenze vyzva prichazi tesne po rezignaci vyzkumnika Jacoba Coxona z Anthropicu, ktery tvrdil, ze AI firmy hraji o nase zivoty a neveri vlastnim internim bezpecnostnim pravidlum.

Kritici maji pro volani po zpomaleni jine vysvetleni. Podle Briana Merchanta (byvaleho tech novinare) chybi jakykoli dukaz, jak presne by nas mela soucasna AI zabit. Plan na povinne embedded editory pro vsechny predni laboratore podle nej nakonec poslouzi prave a jen Anthropicu a OpenAI k tomu, aby zabetonovaly trh pred mensimi hraci - ucebnicovy priklad regulatory capture.

Skutecnym testem bude chovani auditoru pri sporu

To, jestli se z napadu stane ucinna pojistka, nebo jen prazdne divadlo pro regulatory, ukaze prvni realny konflikt. Rozhodujici bude, jestli tito embedded evaluators budou moci sve nalezy okamzite a bez cenzury publikovat, pokud firma jejich varovani ignoruje. Dokud nemaji pravo veta nad releasem noveho modelu, jde jen o pozorovatele bez realne moci.

Lilithin verdikt

Volani po bezpecnosti funguje i jako mistrovsky tah. Promeni obrovske bezpecnostni naklady na barrier-to-entry, kterou si open-source laboratore s malym rozpoctem nikdy nebudou moci dovolit.