Open modely rostou rychleji, než je trh dokáže spočítat

Nathan Lambert z Interconnects se pokusil odhadnout, jak velký je trh inference nad open modely. Opírá se hlavně o veřejná čísla firem Baseten, Fireworks a Together AI a o podíl open modelů v provozu OpenRouteru. Hyperscale cloudy jako Amazon Bedrock a Azure do obrazu plně nezahrne, protože využití podle kategorie modelu nezveřejňují.

Jedním z čerstvých signálů je Fireworks. Firma na své konferenci uvedla, že zákaznické upravené modely obslouží přes 40 bilionů tokenů denně a že tato část provozu od léta vyrostla více než dvojnásobně. Interconnects z veřejných údajů skládá časovou řadu, která podle autora připomíná téměř exponenciální růst.

Primární text je z větší části za paywallem. Veřejně dostupná část popisuje metodiku a uvedená čísla, ale neodhaluje celý graf ani autorovo konečné srovnání s Googlem. Závěry proto musí zůstat užší než lákavá otázka v titulku zdroje.

Čtyři veřejné datové body mají zastoupit trh bez společného účetnictví

Interconnects používá poskytovatele inference jako indikátory celého segmentu. Jejich osud je podle Lamberta svázán s open modely těsněji než osud velkých cloudů, které současně prodávají desítky jiných služeb. OpenRouter doplňuje pohled o skutečný objem tokenů směrovaných do otevřených modelů.

Metoda dává trend, nikoli účetní uzávěrku. Každá platforma zveřejňuje jiný výřez a může odlišně počítat tokeny, provoz přes API, cache nebo upravené modely. I údaj Fireworks popisuje jen část její inference, ne celý provoz společnosti.

Pro kupující roste reálná alternativa k několika uzavřeným API

Objem přes 40 bilionů tokenů denně ukazuje, že upravené modely nejsou jen laboratorní disciplína. Firmy platí za inference modelů přizpůsobených vlastním úlohám, což vytváří trh pro hosting, fine-tuning, routing a správu výkonu.

Pro produktové týmy je podstatná možnost měnit model nebo provozovatele bez úplného přepsání produktu. Pro investory a regulátory je zase důležité, že značná část AI provozu může protékat vrstvami, které nejsou vidět ve statistikách největších laboratoří.

Tokeny měří provoz, ale ne hodnotu ani skutečný podíl na trhu

Biliony tokenů znějí přesněji, než skutečně jsou. Jeden dlouhý agentní běh může spotřebovat řádově více tokenů než krátký chat, aniž by vytvořil vyšší tržbu nebo užitek. Srovnávat platformy podle objemu proto vyžaduje znát ceny, cache, délku kontextu a skladbu workloadů.

Veřejná čísla navíc pocházejí od firem, které mají důvod ukázat růst. Bez jednotné metodiky a bez dat Amazonu, Microsoftu a dalších cloudů nelze z dostupných údajů spočítat podíl open modelů vůči OpenAI nebo Anthropic. Lze jen říct, že měřená část trhu rychle roste.

Společná metodika a cloudové rozklady rozhodnou, zda vznikne skutečný tržní ukazatel

Další posun nepřinese větší číslo od jedné firmy, ale srovnatelný reporting. Poskytovatelé by museli oddělit otevřené a uzavřené modely, upravené a základní varianty a uvést, zda počítají vstupní, výstupní a cachované tokeny stejným způsobem.

Důležitý signál přijde také od hyperscalerů. Pokud Amazon, Microsoft nebo Google začnou vykazovat využití modelů podle kategorie, půjde veřejné odhady kalibrovat. Do té doby je graf dobrým radarem směru, ne mapou velikosti trhu.

Lilithin verdikt

Na stadionu blikají biliony tokenů, ale každý poskytovatel si obsluhuje vlastní výsledkovou tabuli. Růst je vidět. Pořadí závodníků z těch čísel zatím poctivě určit nejde.