Otwarte modele są trzy miesiące za czołówką. Lambert twierdzi, że destylacja tego nie tłumaczy

Nathan Lambert opublikował nagranie wykładu o otwartych modelach, który 22 października wygłosił na kursie AI Safety na Harvardzie. Główna teza: otwarte modele są za zamkniętymi zaledwie kilka miesięcy, choć według przytaczanych przez niego źródeł amerykańskie laboratoria mają mniej więcej dziesięć razy więcej mocy obliczeniowej.

Chińskie otwarte modele dotrzymują kroku z dziesiątą częścią mocy

Lambert wcześniej współkierował pracami nad modelami Olmo w Ai2, a dziś prowadzi organizację non-profit Trillium Labs. Wykład trwa 48 minut, a autor zapowiada jego aktualizację mniej więcej co pół roku. Tekst opiera się na jego publicznych slajdach, z których pochodzą poniższe liczby.

Według indeksu Artificial Analysis otwarte modele są około trzech miesięcy za czołówką, według indeksu Epoch AI dla inżynierii oprogramowania około pięciu. Amerykańskie otwarte modele, jak mówi Lambert, tracą kolejne trzy do czterech miesięcy. Wśród najmocniejszych świeżych modeli wymienia Xiaomi MiMo-V2.6-Pro z bilionem parametrów i wynikiem 46 oraz DeepSeek V4.1 Flash z wynikiem 45.

Po drugiej stronie stoi moc obliczeniowa. Według szacunków cytowanych przez Lamberta czołowe amerykańskie laboratoria mają mniej więcej dziesięć razy więcej mocy niż chińskie. Instytut IFP ocenia średnią przewagę pięciu największych laboratoriów z USA na koniec 2026 roku na 16-krotną.

Destylacja to według Lamberta wygodne wytłumaczenie, a nie główny silnik

Amerykańskie laboratoria często tłumaczą postępy chińskiej konkurencji destylacją, mając na myśli głównie wyciąganie ukrytego reasoning z ich API i trenowanie na nim. Lambert przyznaje, że takie zespoły są w Chinach powszechne. Publiczne badania nie pokazują jednak jego zdaniem, by cudze ścieżki rozumowania dawały łatwy skok wydajności. Coraz większą rolę odgrywa reinforcement learning. Radar pisał już o jego krytyce tego, jak amerykańskie urzędy używają słowa destylacja.

Jako dowód podaje Xiaomi, które transmitowało trening MiMo-V2.6 na żywo na publicznym dashboardzie. Wersja Pro przeszła 30 kroków RL w 5 dni i 7 godzin, przetworzyła 75 miliardów tokenów i kosztowała 2,62 mln dolarów. Mniejszy Flash kosztował 854 tys. dolarów. Wniosek Lamberta: gdyby destylację zakazano, chińskie laboratoria i tak pozostałyby silną konkurencją, bo gonienie czołówki wymaga dużo mniej mocy niż jej przesuwanie.

Dla firm wdrażających otwarte modele bardziej praktyczna jest inna część wykładu: licencje. Na MIT albo Apache 2.0 są udostępniane na przykład DeepSeek, Qwen, gpt-oss i Gemma 4. Kimi K3 i Muse Spark Open wymagają jednak osobnej umowy powyżej 20 mln dolarów przychodu z usług inferencji, a GLM-5.3 wymaga przeglądu bezpieczeństwa powyżej 10 mld dolarów. Lambert przypomina, że większość tych warunków nie była jeszcze sprawdzana w sądzie.

Wykład na kursie bezpieczeństwa głównie broni otwartości

Lambert jest zwolennikiem otwartych modeli i wcale tego nie ukrywa. Słuchaczom kursu bezpieczeństwa przekonuje, że zakaz otwartych modeli przede wszystkim przyhamowałby gospodarkę, a przestępcy i tak by do nich dotarli. Przyznaje, że otwarte wagi faktycznie przyspieszają niektóre szkody, na przykład deepfake'i tworzone bez zgody. Lista cyberincydentów na jego slajdach dotyczy jednak głównie modeli zamkniętych, co wygodnie wspiera jego argument.

Słabe punkty wskazuje zresztą sam. Pobrania z Hugging Face nazywa bardzo niedoskonałą miarą. Publicznych danych o wpływie destylacji jest według niego bardzo mało, więc jego własne stanowisko to raczej oszacowanie niż dowód. Przyznaje też, że chińskie laboratoria mogą nieco bardziej dbać o publiczne benchmarki, a modele amerykańskie bywają lepiej wyważone w nietypowych zadaniach.

Za pół roku okaże się, czy dystans się utrzyma po zamknięciu API

Lambert sam zaznacza, że laboratoria dopiero zaczynają zabezpieczać API przed destylacją. Jeśli potem dystans się powiększy, rację będą miały laboratoria. Jeśli zostanie na poziomie około trzech miesięcy, potwierdzi się jego odczytanie: o wyścigu decydują badania i własne RL.

Drugim sygnałem będzie popyt na amerykańskie otwarte modele. Według Lamberta amerykańskie modele o podobnej wydajności są pobierane dwa do pięciu razy częściej niż chińskie. Jeśli amerykańskie laboratoria dogonią wydajność, mogą zaoferować firmom model bez geopolitycznych znaków zapytania. Do tego czasu chińskie modele prowadzą pod względem wydajności, pobrań i cytowań w badaniach.

Werdykt Lilith

Kto tłumaczy postępy rywala ściąganiem, powinien też wyjaśnić, czemu Xiaomi pokazało trening swojego modelu na żywo, razem z rachunkiem na 2,62 mln dolarów. Gdy laboratoria zamkną API, a dystans dalej wyniesie trzy miesiące, Ameryce zostanie przewaga, której nie da się pobrać: gigawaty w centrach danych.