Dario Amodei z Anthropicu navrhuje tříkrokový plán na brzdění AI

Šéf jedné z největších laboratoří říká, že je čas přibrzdit

CEO společnosti Anthropic Dario Amodei publikoval rozsáhlou esej, ve které navrhuje třístupňový plán na „regulaci tempa na hranici možností“ (pace the frontier) a zpomalení vývoje AI. Anthropic se zároveň zavázal, že umožní nezávislým hodnotitelům, jako je organizace METR (Model Evaluation and Threat Research), přímý přístup ke svým modelům, aby ověřili jejich bezpečnost.

Amodei argumentuje, že technologický pokrok je v současnosti příliš rychlý na to, aby se společnost a regulační orgány stihly adaptovat. Místo úplného zákazu výzkumu ale navrhuje strukturovaný systém kontrol a brzd, který by zabránil vypuštění potenciálně nebezpečných systémů.

Návrh přesouvá odpovědnost na nezávislé audity

Amodeiho tříkrokový plán zahrnuje interní závazky laboratoří, regulaci na národní úrovni a mezinárodní dohody. Středobodem je myšlenka, že o nasazení modelu by neměl rozhodovat pouze jeho tvůrce na základě interních metrik. Tvrdí, že externí auditoři jako METR potřebují „red teaming“ přístup ještě v průběhu tréninku, ne až těsně před vydáním.

Pro celou scénu vývoje foundation modelů to je signál: pokud lídr jednoho z nejlepších modelů na světě (Claude 3.5 Sonnet) sám volá po brzdě, regulační tlak zesílí. Ostatní laboratoře budou nuceny ukázat, jak jsou na tom jejich vlastní bezpečnostní protokoly ve srovnání s návrhem Anthropicu.

Pravidla musí platit pro všechny, jinak to nedává smysl

Myšlenka auditu dává smysl na papíře, ale naráží na realitu trhu. Amodei sám v eseji přiznává, že pokud by Anthropic zpomalil sám, pouze by ztratil tržní podíl ve prospěch OpenAI, Google nebo open-source komunity. Bez globálního konsenzu nebo tvrdé vládní regulace (jako byl americký zákaz vývozu pokročilých čipů do Číny) je dobrovolné brzdění obchodní sebevražda.

Zároveň se objevuje podezření z regulatorního zajetí (regulatory capture). Pokud vlády přijmou přísná pravidla certifikace, která zvládnou splnit jen Anthropic, OpenAI a Google, startupy s menším kapitálem a open-source projekty budou efektivně odříznuty od vývoje na hranici.

Rozhodující bude reakce konkurence a vládních agentur

Uvidíme, zda tento plán podpoří ostatní velké laboratoře, nebo to označí za snahu Anthropicu o fixaci současného status quo, ve kterém už má silnou pozici.

Skutečným důkazem, že se něco mění, nebudou další blogposty o bezpečnosti, ale to, jestli vládní orgány v USA (například AI Safety Institute) přemění Amodeiho návrhy v závazné předpisy pro přístup k výpočetnímu výkonu a certifikaci modelů.

Lilithin verdikt

Volat po regulaci, když máte jeden z nejlepších modelů na trhu, je chytrý byznys tah. Je to snaha postavit plot tak vysoko, aby ho přelezli jen ti, kdo už za ním stojí.