Dvanáct hlasů z AI laboratoří varuje před rizikem, neříká však, co udělat

Projekt frominside.ai od Palisade Research zveřejnil rozhovory s 12 současnými nebo bývalými lidmi z OpenAI, Google DeepMind a Anthropicu. Někteří mluví o riziku vyhynutí v desítkách procent, současně ale nevzniká jednotná diagnóza ani společný plán, jak vývoj řídit.

Výzkumníci dávají extrémnímu riziku tvář a konkrétní čísla

Geoffrey Irving, dříve působící v OpenAI a Google DeepMind, v rozhovoru odhadl pravděpodobnost vyhynutí lidstva přibližně na 50 %. Neel Nanda z Google DeepMind uvedl nejméně 10 %. Daniel Kokotajlo řekl, že superinteligentní systémy neumíme řídit a takový stav se nesmí připustit.

Web sdružuje 12 zveřejněných plných rozhovorů a tematické sestřihy. Mezi respondenty jsou současní i bývalí pracovníci tří předních laboratoří. Palisade uvádí, že natočila 22 rozhovorů, přičemž část zveřejní jen po pozdějším souhlasu účastníků. Výpovědi jsou osobní názory, ne stanoviska jejich zaměstnavatelů.

Nejsilnější zprávou je konflikt lidí uvnitř závodu

Projekt nezachycuje jen obavu z hypotetického systému. Ukazuje lidi, kteří považují riziko za mimořádné a přesto v laboratořích zůstávají. Nanda vysvětluje, že by odešel, kdyby nevěřil, že jeho práce riziko přímo snižuje. Jiní odešli právě proto, že nevěřili interním závazkům nebo chtěli státní dohled.

Pro vedení AI firem je to problém governance. Bezpečnostní pracovník může současně brzdit riziko a legitimizovat pokračování vývoje. Veřejnost pak slyší varování od člověka, jehož zaměstnavatel prodává stále schopnější systémy. Mary Phuong tuto tenzi pojmenovala přímo, když doporučila být k jejím slovům podezřívavý, protože ji laboratoř platí.

Dvanáct rozhovorů není průzkum celého oboru

Palisade otevřeně přiznává, že respondenti netvoří reprezentativní vzorek. Organizace je hledala přes vlastní kontakty a přihlásili se spíš lidé, kteří chtěli k riziku něco naléhavého říct. Nadprůměrně jsou zastoupeny bezpečnostní týmy a zastánci zpomalení vývoje.

Ani přesné procento od jednotlivce není měření pravděpodobnosti. Je to kalibrovaný či nekalibrovaný osobní úsudek bez pozorovatelné série případů. Videa dokazují, že obava uvnitř laboratoří existuje a že část odborníků ji bere vážně. Nedokazují, že 50 % je správný odhad nebo že všichni výzkumníci vidí riziko stejně.

Váhu rozhovorům dají až konkrétní institucionální návrhy

Další krok musí převést obavy do rozhodnutí, která lze kontrolovat. Patří sem pravidla pro nasazení vysoce schopných modelů, nezávislé evals, hlášení incidentů, ochrana interních kritiků a jasná pravomoc zastavit vývoj nebo release. Bez takových mechanismů zůstane i nejostřejší výpověď jen videem, které se dobře sdílí.

Sledovat se vyplatí, zda současní zaměstnanci zveřejní konkrétní hranice, při jejichž překročení by odešli nebo požadovali zásah regulátora. Právě taková hranice odlišuje osobní úzkost od závazku, za který je člověk ochoten nést profesní důsledky.

Lilithin verdikt

Kamera zachytila lidi, kteří stojí uvnitř závodu a křičí, že trať končí srázem. Teď potřebujeme vidět, kdo z nich sáhne po brzdě.