FlashProve potwierdza, który model odpowiedział, ale zużywa do 95 razy więcej czasu GPU

Anthropic pokazał, że kryptograficzne dowody inferencji mogą objąć model z 400 miliardami parametrów. FlashProve pozwala sprawdzić odpowiedź względem opublikowanego zobowiązania do wag, bez udostępniania samych wag.

Dowód dla modelu z 400 miliardami parametrów zajmuje 18,78 MB

FlashProve działa w dwóch etapach. Najpierw dostawca zobowiązuje się do konkretnego zestawu wag. Po inferencji tworzy zkSNARK potwierdzający, że podany input i zadeklarowany model doprowadziły do sprawdzanego tokenu.

Anthropic przetestował publiczną 4bitową wersję Llama 4 Maverick. Jedna H100 z 24 rdzeniami CPU obsłużyła partię 24 żądań w około 223 sekundy, czyli z szybkością 110 tokenów na sekundę. Każdy dowód miał 18,78 MB, a weryfikacja trwała 17 sekund na 24 wątkach lub 21 sekund na jednym. Kod, specyfikację i dowody Lean opublikowano na licencji Apache 2.0.

Audytor może sprawdzić model bez dostępu do wag

Dla klientów routerów modeli kluczowe jest to, że dostawca może wykazać, który model rzeczywiście obsłużył żądanie. Ten sam mechanizm może pomóc niezależnym ewaluatorom i audytorom, którzy nie mają mocy obliczeniowej ani uprawnień do samodzielnego uruchomienia zamkniętego modelu.

FlashProve oddziela zaufanie do deklaracji handlowej od zaufania do dowodu kryptograficznego. Nie ocenia prawdziwości ani bezpieczeństwa odpowiedzi. Potwierdza pochodzenie obliczenia względem konkretnych wag i inputu.

Prototyp sprawdza inny świat niż zwykły chatbot

Wynik obowiązuje pod ścisłymi warunkami. Dowody powstają po fakcie, kontekst jest ograniczony do 1 024 tokenów, a główny benchmark sprawdza jeden token. System obejmuje dokładny model całkowitoliczbowy z greedy decoding, podczas gdy produkcyjne usługi zwykle używają floating point i samplowania.

Tworzenie dowodów wymagało około 70 do 95 razy więcej czasu GPU niż porównywana inferencja w vLLM. Anthropic przyznaje też, że raport techniczny wygenerowała AI, a zespół nie przeprowadził jego szczegółowej recenzji. Formalna specyfikacja Lean nie dowodzi jeszcze zgodności z szybkim kodem C++ i GPU.

Reprodukcja przesądzi o użyteczności warstwy audytowej

Najbliższym sprawdzianem będzie niezależne odtworzenie wyników i audyt powiązania między specyfikacją Lean a kodem wykonywalnym. Wdrożenie wymaga również dłuższych kontekstów, typowych metod samplowania i znacznie niższych kosztów.

FlashProve przesunął granicę tego, co da się udowodnić dla dużego modelu MoE. Dopiero integracja z prawdziwą usługą inference pokaże, czy eksperyment kryptograficzny stanie się użytecznym potwierdzeniem ważnych obliczeń.

Werdykt Lilith

FlashProve potrafi dołączyć do odpowiedzi modelu kryptograficzny paragon. Na razie ma on 18,78 MB, a kasa pracuje nad nim nawet 95 razy dłużej niż kuchnia.