ByteDance podle úniků trénuje model s deseti biliony parametrů

Čínská odpověď na velikost amerických modelů

ByteDance, vlastník TikToku, se podle neveřejných zdrojů pustil do tréninku masivního AI modelu, který má dosáhnout velikosti 10 bilionů parametrů. Pokud jsou tato čísla přesná, šlo by o model třikrát větší než Moonshot Kimi K3, což je dosud největší oznámený model pocházející z Číny.

Informace pocházejí z úniků a nejsou oficiálně potvrzené, ale zapadají do strategie velkých čínských hráčů. Ti se snaží udržet krok s americkými laboratořemi, jako je OpenAI nebo Anthropic, a navzdory exportním omezením nešetří na hardwarové infrastruktuře.

Americké sankce zatím nezastavily škálování

Tento krok je významný především v kontextu amerických sankcí na vývoz pokročilých AI čipů. Sankce měly za cíl zpomalit vývoj čínské umělé inteligence tím, že omezí přístup k nejmodernějšímu hardwaru od společnosti Nvidia.

Zdá se však, že firmy jako ByteDance dokážou tato omezení obcházet nebo kompenzovat. Buď využívají obrovské zásoby starších, méně efektivních čipů, které propojují do masivních clusterů, nebo se spoléhají na domácí alternativy. Schopnost spustit trénink s 10 biliony parametrů ukazuje, že omezení výpočetní kapacity pro velké čínské technologické giganty není nepřekonatelnou překážkou.

Obrovské parametry nezaručují okamžitou výhodu

Velikost modelu sama o sobě není zárukou špičkového výkonu. I s 10 biliony parametrů bude ByteDance čelit stejným problémům jako západní laboratoře: kvalitě tréninkových dat, stabilitě obrovských clusterů a nákladům na inferenci.

Pokud se model dostane do produkce, otázkou bude jeho využití. ByteDance ho může integrovat přímo do TikToku pro hyper-personalizaci obsahu, nebo se pokusit o expanzi na poli podnikových AI služeb, kde zatím dominují jiní hráči.

Skutečný dopad ukáže až cena a dostupnost

Důkazem úspěchu nebude jen samotné dokončení tréninku. Klíčové bude sledovat, zda ByteDance dokáže takto masivní model provozovat ekonomicky udržitelně a zda jeho nasazení přinese měřitelný rozdíl oproti menším, efektivnějším modelům konkurence.

Lilithin verdikt

Spojené státy se snažily omezit výpočetní výkon Číny exportními sankcemi. ByteDance jim právě poslal účtenku za cluster, který ukazuje, že s dostatkem peněz se dá škálovat i na horším hardwaru.