Fireworksでは1日40兆tokenの95%を特化型モデルが占めるという

Fireworksは7月の資金調達発表で、platformが1日40兆token超を処理すると説明した。その95%超が、顧客固有のdataや具体的な用途に合わせた特化型モデルから来るという。研究者Nathan Lambertは、11月のForge conferenceに合わせてこの数字へ改めて注目した。

1日40兆tokenが特化型モデルに本番規模を与える

Fireworksが特化型モデルと呼ぶのは、顧客dataや特定作業に適応したsystemだ。fine-tuning、別のpost-training、狭い製品用途へ最適化したモデルなどが含まれ得る。発表では手法やモデルごとの内訳は示していない。

前回の資金調達時の1日15兆tokenから、40兆token超へ増えた。同社は同時に、15億500万ドルのSeries D、175億ドルのvaluation、10億ドル超の年間換算売上を発表した。これらの数字はすべてFireworks自身によるものだ。

本番teamが買うのは総合benchmarkの勝者ではなく課題の完了だ

狭いモデルでも、1つの仕事を速く、安く、予測可能に終えられれば価値がある。tool routing、code編集、社内dataの要約で、毎回もっとも高価な汎用モデルが必要とは限らない。自社の入力分布で安定することが重要だ。

その結果、価値の中心はeval、post-training、inference infrastructureへ移る。base modelは重要だが、製品の優位性はdataset、feedback loop、複数の特化型variantを安価に配備する能力から生まれ得る。

単一platformは市場全体を表さず、分類の定義も自社で決める

Fireworksはopen modelの運用と調整から収益を得る。その顧客はAI利用者全体の無作為標本ではない。ChatGPT、Claude、Geminiのtrafficは40兆tokenに含まれない。この数字から、世界のinferenceの95%を特化型モデルが占めるとは言えない。

処理量の独立監査や詳細な公開手法もない。tokenは同じ経済価値を持つ単位ではない。短い分類、長いreasoning trace、batch jobでは費用と便益が異なる。これはFireworks自身のworkload構成であり、frontier model全体への判決ではない。

trendの強さは導入後の費用と品質で決まる

次に必要なのは、他のinference platformによる公開dataと、調整前後の顧客evalだ。各teamは完了課題あたりの費用、latency、エラー率、継続的なretraining費用を測るべきだ。token量は、処理が安くなっただけでも増える。

複数の事業者が同様の比率を示し、入力dataが変化しても特化型モデルが品質を保てれば、市場構造の変化と言える。それまでは、95%はFireworks顧客についての説得力ある数字であって、全企業の投票結果ではない。

Lilithの判定

Fireworksが見せる工場では、100 tokenのうち95が特注の生産lineへ流れる。これを業界全体の地図にする前に、他の工場の壁の内側も見る必要がある。