Open modely mohou zlevnit úzké úlohy, závod o univerzálního agenta ale nevedou

Nathan Lambert v přednášce How Open Models Win tvrdí, že open modely mají hledat výhodu u přesně vymezené a často opakované práce. Vedle nižší ceny mohou firmám nabídnout vlastní provoz, úpravy modelu a větší kontrolu nad daty.

Open modely drží odstup v měsících, příjmy však zůstávají u produktů

Lambert ukazuje data ze dvou nezávislých indexů. Artificial Analysis odhaduje odstup nejlepších otevřených vah od uzavřené špičky asi na 3 měsíce. Epoch AI ve svém indexu dochází přibližně k 5 měsícům. Jde o měření schopností, nikoli o záruku stejné kvality v každé úloze.

Ekonomický rozdíl je větší. OpenAI a Anthropic spojují model, API, aplikaci i vztah se zákazníkem. Otevřený ekosystém dělí práci mezi tvůrce vah, poskytovatele inference a firmy pro post-training. Peníze z provozu se proto k autorům základních modelů vracejí pomalu.

Opakovaná práce mění cenu modelu v cenu hotové úlohy

Lambert doporučuje soutěžit tam, kde firma umí zadání přesně popsat, opakovat ho ve velkém a měřit výsledek. V takovém provozu je důležitější cena hotové úlohy než skóre v obecném benchmarku.

Fireworks uvádí u zákazníka Factory náklady některých úloh od 6 % ceny frontier modelu. Je to případová studie dodavatele, ne obecné srovnání. Ukazuje však, proč mohou úzce nasazené open modely dávat smysl i bez prvenství v žebříčku. Druhou výhodou je kontrola. Firma může model upravit a provozovat ve vlastním prostředí.

Levná inference sama nezaplatí další generaci modelů

Tady se Lambertova teze dostává do napětí. Tvůrci modelů potřebují peníze na trénink a výzkum. Zároveň mají cenu inference tlačit co nejblíž k výpočetním nákladům. Růst používání tedy ještě neznamená udržitelný byznys pro firmy, které nesou účet za vývoj.

Vlastní provoz také není automaticky levnější. Firma potřebuje evals, bezpečnost, dohled a dost práce, aby se investice vyplatila. U nepravidelných úloh může být placené API stále praktičtější.

Rozhodnou účty za workflow a peníze vrácené vývojářům

První důležitý signál bude cena celého workflow při stejné kvalitě. Open model uspěje, pokud dlouhodobě sníží náklady na hotovou úlohu a nepřidá drahou vrstvu údržby.

Druhý signál leží u tvůrců vah. Pokud získají dost příjmů na další trénink, může otevřený ekosystém držet odstup v měsících. Pokud příjmy zůstanou u inference a aplikací, levný provoz bude financovat cizí produkty, ne příští model.

Lilithin verdikt

Na pódiu může vyhrát uzavřený model. O trhu se ale rozhodne v provozu, kde se stejná úloha vrací tisíckrát a každý cent jde vidět na účtu.