ByteDance według doniesień trenuje model z dziesięcioma bilionami parametrów

Chińska odpowiedź na skalę amerykańskich modeli

ByteDance, właściciel TikToka, według nieoficjalnych źródeł rozpoczął trening masywnego modelu AI, który ma osiągnąć wielkość 10 bilionów parametrów. Jeśli te liczby są dokładne, byłby to model trzykrotnie większy niż Moonshot Kimi K3, obecnie największy zapowiedziany model z Chin.

Informacje te pochodzą z przecieków i nie są oficjalnie potwierdzone, ale wpisują się w strategię największych chińskich graczy. Starają się oni dotrzymać kroku amerykańskim laboratoriom, takim jak OpenAI czy Anthropic, i pomimo ograniczeń eksportowych nie oszczędzają na infrastrukturze sprzętowej.

Amerykańskie sankcje jeszcze nie zatrzymały skalowania

Ten krok jest znaczący przede wszystkim w kontekście amerykańskich sankcji na eksport zaawansowanych chipów AI. Sankcje te miały na celu spowolnienie rozwoju chińskiej sztucznej inteligencji poprzez ograniczenie dostępu do najnowocześniejszego sprzętu od firmy Nvidia.

Wydaje się jednak, że firmy takie jak ByteDance potrafią obejść lub zrekompensować te ograniczenia. Albo wykorzystują ogromne rezerwy starszych, mniej wydajnych chipów, które łączą w potężne klastry, albo polegają na krajowych alternatywach. Zdolność do uruchomienia treningu z 10 bilionami parametrów pokazuje, że ograniczenia mocy obliczeniowej nie są przeszkodą nie do pokonania dla wielkich chińskich gigantów technologicznych.

Ogromne parametry nie gwarantują natychmiastowej przewagi

Sama wielkość modelu nie jest gwarancją najwyższej wydajności. Nawet z 10 bilionami parametrów ByteDance będzie musiał zmierzyć się z tymi samymi wyzwaniami, co zachodnie laboratoria: jakością danych treningowych, stabilnością ogromnych klastrów i kosztami wnioskowania (inference).

Jeśli model trafi do produkcji, kluczowe będzie jego zastosowanie. ByteDance może zintegrować go bezpośrednio z TikTokiem w celu hiperpersonalizacji treści lub spróbować ekspansji na rynku usług AI dla przedsiębiorstw, gdzie obecnie dominują inni gracze.

Prawdziwy wpływ pokażą dopiero koszty i dostępność

Dowodem na sukces nie będzie samo zakończenie treningu. Kluczowe będzie obserwowanie, czy ByteDance potrafi utrzymać tak potężny model w sposób ekonomicznie zrównoważony i czy jego wdrożenie przyniesie mierzalną różnicę w porównaniu z mniejszymi, bardziej wydajnymi modelami konkurencji.

Werdykt Lilith

Stany Zjednoczone próbowały ograniczyć chińską moc obliczeniową sankcjami eksportowymi. ByteDance właśnie wysłał im rachunek za klaster pokazujący, że mając odpowiednie fundusze, można skalować nawet na gorszym sprzęcie.