FlashProve ověří původ odpovědi modelu, za důkaz si ale vezme až 95krát více GPU času

Anthropic ukázal, že kryptografický důkaz inference lze vytvořit i pro model se 400 miliardami parametrů. FlashProve dovoluje uživateli ověřit odpověď proti předem zveřejněnému otisku vah, aniž samotné váhy získá.

Důkaz pro model se 400 miliardami parametrů se vejde do 18,78 MB

FlashProve pracuje ve dvou fázích. Poskytovatel nejprve vytvoří závazek ke konkrétním vahám modelu. Po inferenci pak vyrobí zkSNARK, který potvrzuje, že daný vstup a zavázaný model vedly k ověřovanému tokenu.

Anthropic testoval veřejnou 4bitovou verzi Llama 4 Maverick. Jedna H100 s 24 CPU jádry zpracovala dávku 24 požadavků za přibližně 223 sekund, tedy 110 tokenů za sekundu. Každý důkaz měl 18,78 MB a jeho kontrola trvala 17 sekund na 24 vláknech nebo 21 sekund na jednom vlákně. Kód, specifikace a Lean důkazy vyšly pod licencí Apache 2.0.

Audit může kontrolovat model bez přístupu k jeho vahám

Pro zákazníky routerů modelů je podstatné, že poskytovatel může doložit, který model skutečně obsloužil požadavek. Stejný princip může pomoci nezávislým evaluátorům nebo auditorům, kteří nemají výpočetní kapacitu ani oprávnění spustit proprietární model sami.

FlashProve tím odděluje důvěru v obchodní tvrzení od důvěry v kryptografický důkaz. Neříká, zda je odpověď pravdivá nebo bezpečná. Potvrzuje původ výpočtu vůči konkrétním vahám a vstupu.

Prototyp kontroluje jiný svět než běžný chatbot

Výkon má tvrdé podmínky. Důkaz vzniká dodatečně, pracuje s kontextem 1 024 tokenů a v hlavním benchmarku kontroluje jeden token. Týká se přesné celočíselné verze modelu s greedy decodingem, zatímco produkční služby běžně používají floating point a sampling.

Proving spotřeboval přibližně 70 až 95krát více GPU času než srovnávaná inference ve vLLM. Anthropic také uvádí, že technický report vygenerovala AI a tým jej detailně nerevidoval. Formální Lean specifikace navíc zatím nezaručuje ekvivalenci rychlého C++ a GPU kódu.

Reprodukce ukáže, zda z prototypu vznikne kontrolní vrstva

Nejbližším testem bude nezávislá reprodukce výkonu a audit vztahu mezi Lean specifikací a spustitelným kódem. Pro nasazení jsou důležité delší kontexty, běžné způsoby samplování a výrazně nižší náklady.

FlashProve už posunul hranici toho, co lze dokázat pro velký MoE model. Teprve integrace do skutečného inference provozu ukáže, zda se z kryptografického experimentu stane použitelná účtenka za každý důležitý výpočet.

Lilithin verdikt

FlashProve umí ke strojové odpovědi přiložit kryptografickou účtenku. Zatím je to účtenka o 18,78 MB, na kterou pokladna pracuje až 95krát déle než kuchyně.