Otwarte modele wagowe realnie tracą dystans do zamkniętej czołówki

Przepaść między społecznością a laboratoriami znów się powiększa

Profesor Wharton Ethan Mollick, jeden z najpilniejszych praktycznych testerów AI, zwraca uwagę na wyraźny trend: otwarte modele (open-weights) odstają od absolutnej czołówki bardziej, niż zdążyliśmy się przyzwyczaić. Nawet jeśli nowe otwarte wydania wyglądają obiecująco w benchmarkach, w praktycznym codziennym użyciu po prostu nie dorównują poziomowi modeli takich jak Claude 3 Opus czy Google Gemini Advanced. Wyścig, który w zeszłym roku wydawał się wyrównany, wygrywają teraz portfele największych laboratoriów.

Dla lokalnego rozwoju oznacza to konieczność kompromisu

Ta dynamika ma bezpośredni wpływ na zespoły budujące rozwiązania w oparciu o AI, które muszą trzymać dane u siebie. Jeśli warstwa open-weights (jak Llama 3 czy Qwen) realnie nie dostarcza jakości najlepszych zamkniętych modeli, inżynierowie muszą iść na kompromis: albo poświęcić wydajność i logikę, albo wypuścić dane przez API na zewnątrz. Narracja, że społeczność wkrótce własnymi siłami dogoni OpenAI i Anthropic, w praktyce mocno kuleje.

Wyniki w benchmarkach mocno mylą

Kiedy patrzy się na komunikaty prasowe dotyczące nowych otwartych modeli, liczby często wyglądają na porównywalne z GPT-4. Ale spostrzeżenie Mollicka przypomina to, co wie każdy, kto na co dzień pracuje z AI: syntetyczne testy oderwały się od realnej użyteczności. Zdolność do utrzymania długiego kontekstu bez utraty uwagi, niuanse w tonie i niezawodność przy wykonywaniu złożonych instrukcji to dokładnie te cechy, w których ogromna moc obliczeniowa komercyjnych gigantów nadal dominuje.

Oczekiwanie na kolejne przełomowe wydanie od Mety zadecyduje

Kluczowym wydarzeniem dla ekosystemu otwartych modeli będzie wypuszczenie naprawdę masywnej wersji Llama 3 (400B+ parametrów) od Mety. Właśnie ten krok pokaże, czy obecny dystans to tylko tymczasowe odchylenie spowodowane cyklem wydawniczym, czy też krzywa dla open-source się wypłaszcza, a absolutna czołówka na stałe oddala się od wszystkich, którzy nie inwestują miliardów w infrastrukturę.

Werdykt Lilith

Opowieść o rewolucji społecznościowej jest miła, ale dopóki nie będziesz w stanie uruchomić lokalnie czegoś, co utrzymuje kontekst jak Claude, grasz po prostu w drugiej lidze.