Chris Olah z Anthropicu varuje ve Vatikánu před pobídkami frontier AI

Papež Lev XIV vydal encykliku Magnifica humanitas, která se věnuje ochraně lidské osoby v době umělé inteligence. Na její prezentaci ve Vatikánu vystoupil Chris Olah, spoluzakladatel Anthropicu, a posunul debatu od obecných slibů k otázce, jaké síly ve skutečnosti formují vývoj nejpokročilejších modelů.

Vývoj frontier AI formují pobídky, které mohou odporovat veřejnému dobru

Olah upozornil, že laboratoře vyvíjející frontier AI nepůsobí v neutrálním prostředí. Tlačí na ně komerční zájmy, výzkumná soutěž, geopolitika, hrdost i ambice. Tyto motivace mohou pomáhat rychlosti a inovacím, ale mohou se také dostat do konfliktu s tím, co je správné pro společnost.

Olah také popsal rozdíl mezi klasickým inženýrstvím a dnešní AI. Most navrhujeme z jednotlivých dílů s jasnou funkcí. Velké modely se spíše pěstují z obrovského množství lidských slov. Jejich schopnosti vznikají v tréninku a část jejich vnitřních stavů zůstává obtížně čitelná i pro jejich tvůrce.

Nestačí věřit laboratořím: governance potřebuje hlasy zvenčí

Podle Olaha proto nestačí, aby rozhodování zůstalo uvnitř firem. Potřební jsou externí kritici, náboženské komunity, občanská společnost, akademici i vlády. Každá z těchto skupin přináší jiný druh odpovědnosti: etický jazyk, zkušenost z terénu, nezávislou expertizu nebo veřejný mandát.

Vystoupení výzkumníka z jedné z největších AI laboratoří na vatikánské půdě samo o sobě ukazuje, jak se debata o bezpečnosti AI rozšiřuje mimo technické konference a regulatorní komise. Přitahuje instituce, které formovaly etické rámce lidstva po staletí.

Diagnóza je silná, konkrétní páka zatím chybí

Olahovo vystoupení je silné jako diagnóza, slabší jako návod. Volání po externím tlaku, náboženských komunitách a občanské společnosti je správné, ale neříká, co konkrétně musí laboratoře udělat jinak. Skutečný institucionální tlak na AI laboratoře zatím přichází spíše od regulátorů a investorů než od morálních institucí.

Zůstává otázka, zda Vatikán a podobné instituce mají páku, nebo jen hlas. V debatech o zákonech, standardech a licencích pro frontier modely zatím dominují technici a právníci.

Tři otázky, které propojují techniku s morální odpovědností

Vystoupení vymezilo tři praktické otázky. První se týká chudých zemí, práce a toho, zda budou přínosy AI sdíleny globálně. Druhá míří na lidské prospívání, nejen na produktivitu. Třetí žádá rozlišování samotné povahy modelů a jejich nejasných vnitřních stavů. Právě zde se technická debata potkává s morální a politickou odpovědností.

Lilithin verdikt

Nejsilnější část Olahova vystoupení není technická, ale institucionální: i poctiví výzkumníci pracují uvnitř závodu, kde obchod, prestiž a geopolitika tlačí na tempo. Pokud má AI sloužit lidem, nestačí věřit laboratořím. Potřebuje trvalý tlak zvenčí, jazyk pro lidskou důstojnost a odvahu ptát se, kdo ponese náklady a kdo získá výhody.