FlashProve umí ověřit původ odpovědi modelu, ale za cenu 19 MB důkazu

Anthropic zveřejnil open source prototyp FlashProve pro takzvaný provable inference. Poskytovatel se nejprve kryptograficky zaváže ke konkrétním vahám modelu. Ke každé odpovědi pak může dodat důkaz, že právě tento model při daném promptu vytvořil uvedené tokeny.

Otisk vah spojuje konkrétní model s konkrétní odpovědí

Důkaz neodhaluje samotné váhy ani mezivýpočty. Kdo má závazek k vahám, prompt, odpověď a důkaz, může výsledek zkontrolovat bez přístupu k modelu. Tím lze odhalit záměnu modelu v API, zásah do proudu tokenů nebo rozdíl mezi modelem testovaným auditorem a modelem nasazeným zákazníkům.

Anthropic systém předvedl na 4bitové celočíselné verzi Llama 4 Maverick se 400 miliardami parametrů. Jeden H100 vytvářel důkazy rychlostí přibližně 110 tokenů za sekundu. Důkaz pro požadavek o 1 024 tokenech měl 18,78 MB a kontrola zabrala 17 sekund na CPU s 24 vlákny.

Audit modelů dostává ověřitelnou účtenku místo slibu dodavatele

Praktická hodnota leží hlavně v situacích, kde záleží na identitě modelu, ne pouze na kvalitě textu. Bezpečnostní auditor může ověřit, že testoval stejný model, který později obsloužil zákazníka. Firma může také doložit, že citlivou úlohu skutečně zpracovala schválená verze modelu.

To mění vztah mezi zákazníkem a inference službou. Dnešní API vyžaduje důvěru v název modelu na faktuře. Provable inference může k této faktuře přidat strojově ověřitelný doklad, aniž by poskytovatel zveřejnil své váhy.

Prototyp zatím dokládá užší výpočet než běžné produkční API

FlashProve ověřuje celočíselný model s greedy decodingem. Běžná inference s desetinnými výpočty nebo samplingem se může od dokazovaného výpočtu odchýlit. Rychlý C++ kód navíc není formálně svázán s Lean specifikací a Anthropic výslovně negarantuje, že implementace, popis a formální model přesně odpovídají.

Cena také není drobná. Generování důkazu spotřebuje podle měření zhruba 70krát až 95krát více času GPU než samotná inference ve vLLM. Postup funguje zpětně po výpočtu, takže podvrženou odpověď odhalí, ale sám nezabrání tomu, aby ji uživatel nejprve dostal.

O nasazení rozhodne propojení důkazu s reálným inference serverem

Další krok musí ukázat důkaz pro produkční decoding, běžné architektury a server, který odpověď skutečně vydává. Důležité bude také nezávislé ověření kódu a náklady při velkém provozu. Anthropic zatím FlashProve popisuje jako průběžný výzkum a neoznámil nasazení ve vlastní službě ani u jiného poskytovatele.

Lilithin verdikt

FlashProve dává auditorovi možnost přiložit k odpovědi modelu kryptografickou pečeť. Zatím je však pečeť těžší než dopis a dorazí až poté, co ho adresát otevřel.