FlashProve potwierdza pochodzenie odpowiedzi modelu, lecz dowód waży 19 MB

Anthropic udostępnił FlashProve, prototyp open source służący do provable inference. Dostawca najpierw kryptograficznie wiąże się z konkretnym zestawem wag modelu. Następnie może dołączyć do odpowiedzi dowód, że właśnie ten model wygenerował wskazane tokeny dla danego promptu.

Zobowiązanie do wag łączy konkretny model z konkretną odpowiedzią

Dowód nie ujawnia wag ani obliczeń pośrednich. Każdy, kto ma zobowiązanie, prompt, odpowiedź i dowód, może sprawdzić wynik bez dostępu do modelu. Pozwala to wykryć podmianę modelu za API, ingerencję w strumień tokenów albo różnicę między modelem badanym przez audytora a tym obsługującym klientów.

Anthropic pokazał system na 4 bitowej, całkowitoliczbowej wersji Llama 4 Maverick o 400 miliardach parametrów. Jeden H100 tworzył dowody z prędkością około 110 tokenów na sekundę. Dowód dla żądania obejmującego 1 024 tokeny miał 18,78 MB, a jego sprawdzenie na CPU z 24 wątkami trwało 17 sekund.

Audyt modelu może dostać sprawdzalny rachunek zamiast obietnicy dostawcy

Największa wartość pojawia się tam, gdzie liczy się tożsamość modelu, a nie tylko jakość tekstu. Audytor bezpieczeństwa może potwierdzić, że badał ten sam model, który później obsługiwał klientów. Firma może też wykazać, że wrażliwe zadanie wykonała zatwierdzona wersja modelu.

Zmienia to relację klienta z dostawcą inference. Dzisiejsze API każe wierzyć nazwie modelu widocznej na fakturze. Provable inference może dołączyć do niej dowód możliwy do automatycznego sprawdzenia, bez ujawniania wag.

Prototyp obejmuje węższe obliczenie niż typowe API produkcyjne

FlashProve sprawdza model całkowitoliczbowy z greedy decodingiem. Zwykła inference wykorzystująca liczby zmiennoprzecinkowe lub sampling może odejść od obliczenia objętego dowodem. Szybki kod C++ nie jest też formalnie powiązany ze specyfikacją Lean, a Anthropic wprost nie gwarantuje pełnej zgodności implementacji, opisu i modelu formalnego.

Koszt pozostaje wysoki. W pomiarach Anthropic tworzenie dowodu zużywało około 70 do 95 razy więcej czasu GPU niż zwykła inference we vLLM. System działa po wykonaniu obliczenia, więc potrafi wykryć fałszywą odpowiedź, lecz sam nie zapobiega jej wcześniejszemu dostarczeniu użytkownikowi.

O wyjściu z laboratorium zdecyduje integracja z produkcyjną inference

Kolejny etap powinien pokazać dowody dla produkcyjnego decoding, popularnych architektur i serwera, który rzeczywiście zwraca odpowiedź. Liczyć się będą również niezależny przegląd kodu i koszt przy dużym ruchu. Anthropic nazywa FlashProve badaniem na etapie pośrednim i nie zapowiedział wdrożenia we własnej usłudze ani u innego dostawcy.

Werdykt Lilith

FlashProve pozwala audytorowi opatrzyć odpowiedź modelu kryptograficzną pieczęcią. Na razie pieczęć jest cięższa od listu i dociera dopiero po jego otwarciu.