Otwarte modele mogą obniżyć koszt wąskich zadań, choć nie prowadzą w wyścigu agentów

Nathan Lambert w prezentacji How Open Models Win przekonuje, że otwarte modele powinny konkurować w precyzyjnie opisanych zadaniach wykonywanych na dużą skalę. Oprócz niższej ceny mogą zapewnić prywatne wdrożenie, możliwość dostosowania i większą kontrolę nad danymi.

Otwarte modele tracą kilka miesięcy, lecz przychody zostają przy produktach

Lambert przywołuje dwa niezależne indeksy możliwości. Według Artificial Analysis najlepsze otwarte wagi są około 3 miesiące za zamkniętą czołówką. Indeks Epoch AI wskazuje mniej więcej 5 miesięcy. To szerokie miary możliwości, a nie gwarancja takiej samej jakości w każdym zadaniu.

Różnica ekonomiczna jest większa. OpenAI i Anthropic łączą model, API, aplikację oraz relację z klientem. W otwartym ekosystemie zajmują się tym osobno twórcy wag, dostawcy inference i firmy od post-training. Przychody z użycia wolno wracają więc do autorów modeli bazowych.

Powtarzalna praca zmienia cenę modelu w koszt ukończonego zadania

Lambert radzi konkurować tam, gdzie firma potrafi dokładnie opisać zadanie, wykonywać je masowo i mierzyć wynik. W takim środowisku koszt ukończonego zadania ma większe znaczenie niż wynik ogólnego benchmarku.

Fireworks podaje, że u klienta Factory niektóre zadania kosztowały zaledwie 6 % ceny modelu frontier. To studium przypadku dostawcy, a nie uniwersalne porównanie. Pokazuje jednak, dlaczego wyspecjalizowany otwarty model może mieć sens bez pierwszego miejsca w rankingu. Drugą zaletą jest kontrola. Firma może dostosować model i uruchomić go we własnym środowisku.

Tania inference nie sfinansuje samodzielnie kolejnego modelu

W tym miejscu pojawia się główne napięcie w tezie Lamberta. Twórcy potrzebują pieniędzy na trening i badania. Proponowana strategia spycha jednak ceny inference w pobliże kosztu obliczeń. Rosnące użycie nie zapewnia więc automatycznie trwałego biznesu firmom, które płacą za rozwój.

Własne wdrożenie też nie musi być tańsze. Firma potrzebuje evals, zabezpieczeń, nadzoru i odpowiedniej skali pracy. Przy nieregularnych zadaniach płatne API może pozostać praktyczniejszym wyborem.

Rachunek za workflow i przychody twórców rozstrzygną spór

Pierwszym sygnałem będzie całkowity koszt workflow przy tej samej jakości. Otwarty model odniesie sukces, jeśli trwale obniży koszt ukończonego zadania bez dokładania drogiej warstwy utrzymania.

Drugi sygnał dotyczy twórców wag. Jeśli dostaną dość pieniędzy na kolejny cykl treningu, otwarty ekosystem może utrzymać dystans liczony w miesiącach. Jeśli przychody zostaną u dostawców inference i aplikacji, tani ruch sfinansuje cudzy produkt zamiast następnego modelu.

Werdykt Lilith

Na scenie może wygrać model zamknięty. Rynek rozstrzygnie się jednak w produkcji, gdzie to samo zadanie wraca tysiąc razy, a każdy cent widać na rachunku.