TextGrain pozná dlouhý výstup, čtvrtina úprav ho srazí na 17 %

OpenAI během několika týdnů zavede v EU neviditelný watermark textGrain do způsobilých textových výstupů ChatGPT a Codexu napříč všemi tarify. Technologie mění volbu slov tak, aby v textu zůstal statistický signál. API zákazníci po celém světě si ji mohou zapnout u vybraných modelů, výchozí globální nastavení se však nemění.

Detektor nebude při spuštění veřejný. Přístup mohou získat schválení výzkumníci a odborné organizace po individuálním posouzení. Výsledek pouze sdělí, zda našel watermark OpenAI. Nemá odhalit uživatele, prompt ani konverzaci.

EU dostane značku, zbytek světa volitelný přepínač

Regionální nasazení reaguje na pravidla EU pro strojově čitelné označení generovaného obsahu. OpenAI zároveň ponechává watermark v API jako dobrovolnou volbu pro vybrané modely a plánuje jej nabídnout také přes cloudové partnery.

Firma uvádí, že textGrain v jejích testech dosáhl nebo překonal jiné zkoušené postupy včetně SynthID for text. Benchmarky watermarked a běžných výstupů podle zveřejněných výsledků nevykázaly smysluplný rozdíl v kvalitě.

Delší a volnější text dává detektoru víc signálu

Při cílové míře falešně pozitivních výsledků 1 % detektor zachytil watermark přibližně v 80 % psychologických odpovědí o délce 200 tokenů a v 95 % odpovědí o délce 400 tokenů. U matematiky byly výsledky výrazně horší, protože model má menší volnost při volbě slov.

To vymezuje praktické použití. Watermark může pomoct poskytovateli prokázat, že delší a málo upravený text vyšel z podporovaného modelu. Neumí určit autora, přesnost obsahu, podíl lidské práce ani vlastnictví textu.

Běžná editace rozebírá statistickou stopu

V testu 400tokenových pasáží snížila výměna 10 % slov za synonyma detekci přibližně z 92 % na 66 %. Po výměně 25 % slov zůstalo 17 %. Překlad, zkrácení a hlubší přepis mohou signál oslabit ještě jiným způsobem.

Negativní nález proto nedokazuje lidské autorství. Stejně tak pozitivní nález není rozsudek nad člověkem, protože OpenAI výslovně upozorňuje na falešně pozitivní i falešně negativní výsledky. Omezený přístup k detektoru toto riziko tlumí, ale současně komplikuje nezávislou kontrolu v běžné škole, redakci nebo firmě.

O užitku rozhodne práce s nejistotou, ne samotná značka

Důležitý bude způsob, jakým schválené organizace sdělí skóre, délku analyzovaného textu a hranice spolehlivosti. Bez kontextu může binární odpověď snadno změnit slabý statistický signál v neoprávněné obvinění.

OpenAI slibuje doplnit technický report a technologii později zveřejnit jako open source. Teprve reprodukovatelné testy napříč jazyky, obory, překlady a skutečnými editacemi ukážou, zda textGrain funguje jako interoperabilní provenance vrstva, nebo převážně jako regulatorní značka na nedotčeném výstupu.

Lilithin verdikt

Text projde dvěma editory a značka se z 92 % smrskne na 17 %. Kdo z takové stopy udělá razítko viny, plete si laboratorní otisk s občankou autora.