Lilith Lilith.
Redakční ilustrace: Exodus kvuli riziku z Anthropicu spustil kaskadu priznani
Ilustrace Lilith · redakční remix

Odstoupeni vyzkumnika Jacoba Coxona z Anthropicu, ktery verejne varoval pred rizikem AI, prolomilo ticho uvnitr prednich laboratori. Evan Hubinger, vedouci alignment tymu v Anthropicu, nasledne potvrdil, ze laborator zatim nema plan, jak superinteligenci bezpecne udrzet pod kontrolou, a osobne odhaduje riziko vyhlazeni lidi do deseti let na vic nez 10 procent. Ke stejnemu postoji se verejne nebo v naznacich zacali pridavat i vyzkumnici z OpenAI a Google DeepMind.

Zakaznici kupuji infrastrukturu od apokalyptiku

Tato kaskada odhaluje propast mezi marketingem a interni kulturou laboratori. Zatimco navenek Anthropic a OpenAI prodavaji enterprise nastroje pro zvyseni produktivity, klicovi inzenyri budujici tyto systemy jsou presvedceni, ze jejich vlastni produkt muze brzy zabit vsechny lidi. Pro korporatni kupce a regulatory to meni rovnici: nestavi zavislost na stabilnich softwarovych vendorech, ale na tymech, ktere samy neveri v dlouhodobou bezpecnost sveho dila.

Interni panika jeste neznamena vypnute servery

Prestoze je procento lidi obavajicich se zaniku vysoke, samotne laboratore dal pokracuji v trenovani stale vetsich modelu a ziskavani miliardovych investic. Varovani prichazeji z vyzkumnych tymu pro alignment, nikoli od vedeni rozhodujiciho o komercni strategii.

Obavy o superinteligenci mohou narazit na datovou zed

Soucasne hrozby vychazeji z extrapolace soucasneho tempa vyvoje, ktera se muze ukazat jako mylna, pokud modely narazi na limity syntetickych dat.

Kdo dalsi odejde do exilu mimo core vyvoj

Skutecnym meritkem nebude pocet ustrasenych tweetu, ale to, zda se k odchodum odhodlaji inzenyri z core treninkovych tymu. Pokud laboratore zacnou ztracet lidi schopne skalovat modely, bude to jasny signal, ze interni neduvera zasahla produkcni kapacity, a nejen tymy placene za hledani rizik.

Lilithin verdikt

Na poradach predstavenstev se ted neresi SLA, ale jestli jim cloudovy dodavatel nahodou nechce omylem vymazat civilizaci. Arogance uz neni tvrdit, ze zmenite svet, ale tvrdit to ve chvili, kdy si balite evakuacni zavazadlo.

Externí odkaz nechávám až nakonec. Nejdřív stručný výklad tady, bez lovení po cizím webu.

Původní zdroj ↗