オープンモデル市場は計測能力を上回る速さで成長している

InterconnectsのNathan Lambertは、オープンモデル推論市場の規模を推計しようとしています。主な材料はBaseten、Fireworks、Together AIの公開値と、OpenRouterにおけるオープンモデルの比率です。Amazon BedrockやAzureなどのhyperscale cloudはモデル種別の利用量を開示していないため、全体像には十分反映できません。

新しい材料の一つがFireworksです。同社はconferenceで、顧客向けカスタムモデルが1日40兆token超を処理し、この領域が夏以降2倍超に成長したと説明しました。Interconnectsは各社の公開値を時系列に並べ、Lambertはほぼ指数関数的な成長だと見ています。

元記事の大半はpaywallの内側です。公開部分では方法と数字を確認できますが、完全なgraphやGoogleとの最終比較は読めません。そのため、結論は元記事の魅力的な問いよりも限定して扱う必要があります。

共通台帳のない市場を4つの公開シグナルで推計する

Interconnectsは推論事業者を市場の指標として使います。多くの事業を抱える大手cloudより、これらの企業の業績はオープンモデルの成否に強く結び付くという考えです。OpenRouterは、実際にオープンモデルへ送られたtoken量を補います。

ただし、この方法で分かるのは傾向であり、監査済みの市場規模ではありません。各社が公開する範囲は異なり、API traffic、cache、カスタムモデルの数え方も統一されていません。Fireworksの数字も同社の推論全体ではなく一部分です。

購入側には少数のclosed APIに代わる現実的な選択肢が生まれた

1日40兆token超という規模は、カスタムモデルが研究室だけの話ではないことを示します。企業は自社業務に合わせたモデルの推論に費用を払い、hosting、fine-tuning、routing、性能管理の市場を作っています。

product teamにとっては、製品全体を作り直さずにモデルや事業者を変更できる可能性が重要です。投資家や規制当局にとっても、大手labの統計に表れない層で大きなAI利用が進む点は無視できません。

Token量は活動を示すが価値や市場shareまでは示さない

兆単位の数字は、実態以上に精密に見えます。長いagent処理は短いchatより大量のtokenを使っても、売上や価値が大きいとは限りません。比較には価格、cache、context長、workload構成が必要です。

また、数字を出す企業には成長を強調する動機があります。共通の方法とAmazon、Microsoftなどのcloud dataがなければ、OpenAIやAnthropicに対する市場shareは計算できません。確認できるのは、観測部分が速く伸びていることです。

共通reportingとcloudの内訳が市場指標への条件になる

次に必要なのは、一社のさらに大きな数字ではなく比較可能なreportingです。オープンとclosed、baseとcustomを分け、input、output、cached tokenの数え方を揃える必要があります。

もう一つの手掛かりはhyperscalerです。Amazon、Microsoft、Googleがモデル種別の利用量を示せば、公開推計を補正できます。それまでは、このgraphは方向を知るradarであって、市場規模の地図ではありません。

Lilithの判定

競技場には兆単位のtokenが点滅していますが、各社が別々のscoreboardを操作しています。成長は見えても、その数字だけで選手の順位を公正に決めることはできません。