FlashProveはモデル応答の出所を検証するが、証明は19 MBになる

Anthropicは、provable inference向けのopen sourceプロトタイプFlashProveを公開した。提供者はまず、特定のモデル重みに対する暗号学的なコミットメントを作る。その後、あるpromptに対してそのモデルが所定のtokenを生成したことを示す証明を応答に添付できる。

重みへのコミットメントがモデルと応答を結び付ける

証明から重みや中間計算が明らかになることはない。コミットメント、prompt、応答、証明を持つ人は、モデルにアクセスせず結果を検証できる。APIの裏側でのモデル差し替え、token列への介入、監査時と顧客提供時のモデルの違いを検出できる可能性がある。

Anthropicは、4 bit整数版のLlama 4 Maverickで実験した。モデルは4000億parameterで、H100 1基が毎秒約110 tokenの速度で証明を生成した。1,024 tokenの要求に対する証明は18.78 MBで、24 threadのCPUによる検証には17秒かかった。

モデル監査は事業者の約束ではなく検証可能な受領証を持てる

実用上の価値が大きいのは、文章の品質だけでなくモデルの同一性が重要な場面だ。セキュリティ監査者は、評価したモデルと後に顧客へ提供されたモデルが同じか確認できる。企業も、承認済みのモデル版が機密性の高い処理を担当したと示せる。

これにより、inference事業者と顧客の関係が変わる。現在のAPIでは、請求書に記されたモデル名を信頼するしかない。Provable inferenceなら、重みを開示せずに機械検証可能な受領証を添えられる。

プロトタイプが証明する計算は一般的な本番APIより狭い

FlashProveが検証するのは、greedy decodingを使う整数モデルだ。浮動小数点演算やsamplingを使う通常のinferenceは、証明対象の計算から外れる場合がある。高速なC++実装もLean仕様と形式的に結び付いておらず、Anthropicは実装、文書、形式モデルが完全に一致するとは保証していない。

負担も小さくない。Anthropicの測定では、証明生成にかかるGPU時間は通常のvLLM inferenceの約70倍から95倍だった。また事後証明なので、偽の応答を検出できても、利用者が先にそれを受け取ること自体は防げない。

実際のinference serverとの統合が実用化を左右する

次に必要なのは、本番用decoding、一般的なarchitecture、実際に応答を返すserverを対象にした証明だ。独立したcode reviewと大規模トラフィック時の費用も重要になる。AnthropicはFlashProveを研究の中間成果と位置付けており、自社サービスや他社での導入は発表していない。

Lilithの判定

FlashProveはモデルの応答に暗号学的な封印を付ける。だが今は、封印のほうが手紙より重く、受取人が開封した後に届く。