Lilith.
⌕
編集イラスト: FlashProveは応答したモデルを証明するが、GPU時間は最大95倍かかる
Lilithのイラスト · 編集リミックス

Anthropicは、4000億parameterのモデルでも暗号学的なinference証明を作れることを示した。FlashProveを使えば、重み自体を受け取らなくても、公開された重みのcommitmentに対して応答を検証できる。

4000億parameterの証明は18.78 MBに収まる

FlashProveは2段階で動く。まず提供者が特定のモデル重みにcommitする。inference後、その入力とcommit済みモデルが検証対象のtokenを生成したことを示すzkSNARKを作成する。

AnthropicはLlama 4 Maverickの公開4 bit版で検証した。H100を1基とCPU 24 coreを使い、24件のbatchを約223秒、毎秒110 tokenで処理した。証明は1件18.78 MBで、検証には24 threadで17秒、1 threadで21秒かかった。コード、仕様、Lean証明はApache 2.0で公開された。

監査者は重みに触れずにモデルを確認できる

model routerの顧客にとって重要なのは、どのモデルが実際にrequestを処理したかを提供者が証明できる点だ。独自モデルを動かす計算資源や権限を持たない第三者評価機関や監査者にも役立つ可能性がある。

FlashProveは、営業上の説明への信頼と暗号学的証明への信頼を分ける。ただし、応答が正しいか、安全かは判断しない。特定の重みと入力に対する計算の出所を証明する。

このprototypeが検証する環境は通常のchatbotと異なる

性能には厳しい条件がある。証明は事後に生成され、contextは1,024 tokenに制限され、主要benchmarkでは1 tokenを確認する。対象はgreedy decodingを使う正確な整数モデルであり、productionで一般的なfloating pointやsamplingとは異なる。

証明生成には、比較対象のvLLM inferenceより約70倍から95倍のGPU時間がかかった。Anthropicは技術reportをAIが生成し、詳細なreviewをしていないとも明記している。Leanの形式仕様と高速なC++およびGPUコードの同等性も、まだ証明されていない。

再現実験が監査層としての将来を決める

次の焦点は、性能の独立再現と、Lean仕様から実行コードまでの関係の監査だ。実運用には、より長いcontext、一般的なsampling方式、大幅なcost削減も必要になる。

FlashProveは大規模MoEモデルで証明できる範囲をすでに広げた。実際のinference基盤への統合によって初めて、この暗号実験が重要な計算に添える実用的な受領証になるかが分かる。

Lilithの判定

FlashProveはモデルの応答に暗号学的なレシートを付けられる。ただし今のレシートは18.78 MBあり、レジは厨房の最大95倍も長く働く。