Lilith.
⌕
Redakční ilustrace: OpenAI stáhla úspěšnost krádeže uvažování z 54 % na 0,2 %
Ilustrace Lilith · redakční remix

OpenAI popsala obranu proti adversarial distillation, při níž útočník sbírá výstupy cizího modelu a učí na nich vlastní systém. Nejvýraznější číslo se týká chráněného uvažování: v interním adaptivním black-box testu klesla úspěšnost vytažení stopy z dřívějšího požadavku z 54 % u GPT-6 Astra na 0,2 % u GPT-6.2 Astra.

GPT-6.2 Astra zavřela nejpřímější cestu k interním stopám

OpenAI testovala šest útočných modelů, které měnily postup podle odpovědí systému. U pokusu získat uvažování z aktuálního požadavku klesla průměrná úspěšnost z 22,9 % na 0,9 %. Firma ochranu nasadila také do GPT-6.2 Sol.

Obrana spojuje trénink modelu, vstupní a výstupní klasifikátory a pravidla API. Kontrola zahrnuje také argumenty tool calls, protože model může citlivou stopu vyzradit nástroji, i když ji nenapíše uživateli. Chráněné uvažování se navíc váže na historii konverzace a starší rodiny modelů je nemají číst.

Spor o distilaci se přesouvá od účtů k celým kampaním

OpenAI uvádí, že při týdenních zásazích rušila tisíce až desítky tisíc účtů spojených s nepovolenou distilací. Jednotlivý dotaz proto nestačí. Firma sleduje vzorce napříč účty, propojuje je s vyšetřováním a sdílí indikátory s dalšími poskytovateli.

Pro provozovatele API je praktická pointa širší než ochrana duševního vlastnictví. Stejná data, která učí menší model programovat nebo řešit biologický problém, mohou přenést i schopnost, kterou původní systém omezuje bezpečnostními pravidly. Bez detekce kampaní zůstane i dobrý filtr jen turniketem před davem falešných účtů.

Interní eval měří únik stopy, nikoli konec kopírování schopností

Čísla zveřejnila a měřila sama OpenAI. Test porovnává dvě generace modelu s odlišnou ochranou, takže neodděluje vliv samotného modelu od všech změn v safeguard stacku. Neříká ani, kolik užitečné schopnosti lze získat z finálních odpovědí, reasoning summaries a tool calls bez přesné kopie chain-of-thought.

Nezávislý výzkum navíc ukazuje, že přibližné stopy mohou po dalším reinforcement learning znovu získat hodnotu. To podporuje vícevrstvou obranu, ale zároveň brzdí triumfální výklad čísla 0,2 %.

O výsledku rozhodne odolnost při změně útoku a velkém provozu

Další signál musí přijít z testů s jinými student modely, tréninkovými postupy a rozpočty. Důležité bude také to, zda ochrana nepoškozuje legitimní vysvětlení a dlouhé agentní workflow, která používají reasoning summaries a tool calls.

OpenAI slibuje další informace o narušených kampaních. Pokud zveřejní dobu od detekce k zásahu, objem získaných dat a výsledky mimo vlastní eval, půjde konečně posoudit, zda obrana zdražuje distilaci v praxi, nebo hlavně zamyká jednu konkrétní skulinu.

Lilithin verdikt

OpenAI ukázala zámek, který odolal jejím vlastním paklíčům v 99,8 % pokusů. Zloděj schopností však může pořád odnést dům po cihlách z odpovědí, summaries a tool calls.