OpenAI začne v EU značit text, detektor ale veřejnosti nedá

OpenAI reaguje na transparenční povinnosti podle článku 50 evropského AI Actu. V příštích týdnech přidá v EU neviditelný watermark do způsobilých textových výstupů ChatGPT a Codexu ve všech tarifech. Nejde o globální výchozí nastavení. Zákazníci API po celém světě si mohou watermark zapnout pro vybrané modely, ale v API zůstává standardně vypnutý.

textGrain mění volbu slov, nikoli vzhled dokumentu

Technologie nazvaná textGrain vkládá statistický signál do voleb slov během generování. Detektor se stejným tajným klíčem pak hledá, zda text tento vzor obsahuje. Běžný čtenář značku nevidí a nejde o skryté znaky ani metadata, která by zmizela při kopírování.

OpenAI zároveň otevřela žádosti o přístup k detektoru. Zpočátku jej dostanou jen schválení výzkumníci a odborné organizace, posuzované jednotlivě. Nástroj má oznámit přítomnost watermarku OpenAI, nikoli identitu uživatele, jeho prompty nebo obsah konverzace. Firma také plánuje zveřejnit technologii jako open source.

Evropské pravidlo vytváří značku bez veřejné čtečky

Pro evropského uživatele se změní samotné generování textu, ale nebude mít k dispozici veřejný způsob kontroly. Pro vývojáře na API je situace opačná: funkci mohou zapnout globálně, standardně se však neaktivuje. To je důležitý rozdíl mezi splněním povinnosti v produktu OpenAI a nástrojem, který si musí správně nastavit zákazník API.

Watermark navíc říká jen to, že systém OpenAI vytvořil nebo zpracoval část textu. Neurčuje autora, podíl lidské práce, vlastnictví ani pravdivost obsahu. Negativní výsledek také nedokazuje lidský původ textu.

Úpravy textu rozbíjejí signál rychleji než jeho význam

Podle zveřejněných testů OpenAI dosahovala detekce při cílové míře falešných pozitivních výsledků 1 % přibližně 80 % u textů dlouhých 200 tokenů a 95 % u 400 tokenů v jedné sadě psychologických odpovědí. V testu úprav klesla detekce u 400tokenového textu z přibližně 92 % na 66 % po nahrazení 10 % slov synonymy a na 17 % po nahrazení 25 %.

To je zásadní omezení pro školy, média i moderaci. Překlad, parafráze nebo běžná editace může signál oslabit, zatímco falešné pozitivní výsledky mohou poškodit člověka, který text skutečně napsal. OpenAI právě těmito riziky vysvětluje, proč detektor při startu nezveřejní.

Nezávislé testy rozhodnou, zda watermark unese spor

Důležité budou tři signály: jak textGrain obstojí po překladech a běžných editorských zásazích, komu OpenAI skutečně schválí detektor a zda open source vydání umožní nezávisle zopakovat firemní výsledky. Samotná přítomnost značky má hodnotu pro provenance, ale nestačí jako jediný důkaz při hodnocení studenta, zaměstnance nebo autora.

Regulace donutila poskytovatele vložit do textu strojově čitelnou stopu. Teď musí praxe ukázat, zda ji půjde číst dost spolehlivě a dost spravedlivě, aby nezůstala jen splněnou kolonkou v compliance.

Lilithin verdikt

OpenAI vloží do evropských textů neviditelný inkoust, ale lupu zatím půjčí jen vybraným laboratořím. Značka bez spolehlivě dostupné čtečky chrání compliance lépe než člověka obviněného z podvodu.