2026-11-18 · ← Novinky
Transformers rozběhl 180B MoE na 32GB Macu. SSD řeší kapacitu, rychlost teprve dohání
Experiment Hugging Face rozběhl Qwen3.8-Flash-Next se 180 miliardami parametrů na Macu M5 s 32 GB sjednocené paměti. Vybrané experty streamuje z SSD a při krátkém generování dosáhl 13,9 tokenu za sekundu, zhruba o 6 % méně než specializovaný Strata.
Obrázek se nepodařilo načíst.
Hugging Face ukázal experimentální cestu, jak na Macu M5 s 32 GB sjednocené paměti spustit Qwen3.8-Flash-Next se 180 miliardami parametrů. Systém nechává většinu expertů na SSD, do paměti načítá jen ty, které router vybere, a při krátkém generování dosáhl 13,9 tokenu za sekundu.
Do 32 GB se model vešel díky 3bitovým expertům a SSD
Qwen3.8-Flash-Next má 48 vrstev, v každé 512 expertů a pro jeden token aktivuje 10 z nich. Experti zabírají 121 GB ve FP8 a model navíc používá 51GB n-gramovou embedding tabulku. Samotné běžné offloading proto nestačilo.
Experiment zmenšil experty na 3 bity a uložil jejich 49 GB na disk. V zařízení držel 12 GiB cache, dense vrstvy zmenšil na 8 bitů a n-gramovou tabulku četl po řádcích z SSD. Po načtení systém spotřeboval asi 18 GiB, u promptu s 6 tisíci tokeny vystoupal na 25,4 GiB. Převod vah trval přibližně 5 hodin.
Router proměnil SSD v další patro paměti
Standardní Transformers přes Accelerate přesouvá pro MoE celou banku expertů jedné vrstvy, i když router použije jen 8 nebo 10 z nich. Nový prototyp místo toho drží omezenou cache a čte pouze vybrané experty. Router navíc předem odhaduje potřebu v dalších dvou vrstvách.
Klíčovým trikem je pool předem přidělených slotů. ID expertů se přemapují na sloty, takže existující grouped_mm může zpracovat cache jako běžnou banku expertů. Tím se experiment vyhnul vlastní implementaci maticového násobení a využil rychlou cestu, kterou Transformers už má.
Působivá kapacita stojí na prototypu a přesně vyladěném Macu
Finální běh dosáhl na stejném M5 13,9 tokenu za sekundu při krátkém decode proti 14,8 u Strata. Prefill čtyřtisícového promptu byl s 228 tokeny za sekundu mírně rychlejší než 220 u Strata, decode po dokumentu se 6 tisíci tokeny skončil na 12,4 proti 13,7. Autor sám považuje zhruba 14 tokenů za sekundu za příliš pomalé pro svůj způsob práce s coding agenty.
Funkce experts_offload je zatím v pull requestu #50717 a její API se s maintainery Transformers stále řeší. Výsledek navíc závisí na modelově specifickém balíčku, 3bitové kvantizaci, Metal kernelech a zvláštní obsluze n-gramové tabulky. Jde o ověřený experiment na jedné konfiguraci, ne o hotovou obecnou funkci v běžné instalaci Transformers.
O využití rozhodne rychlost na dalších modelech a přijetí pull requestu
Nejbližší signál bude stav pull requestu a podoba stabilního API pro modely se standardním rozložením expertů. Důležité budou také testy na jiných Apple čipech, SSD a MoE architekturách, protože cache hit rate i čekání na disk se mohou výrazně změnit.
Pro lokální nasazení má smysl měřit celý pracovní tok: čas převodu, místo na disku, rychlost prefillu, dlouhé generování a dopad kvantizace na kvalitu. Experiment přesvědčivě ukazuje, že se 180B model může do 32GB stroje provozně vejít. Teprve širší měření ukáže, pro které úlohy se pětihodinová příprava a rychlost kolem 14 tokenů za sekundu vyplatí.
Lilithin verdikt
Hugging Face dostal 180B model do 32GB Macu tím, že většinu váhy nechal čekat na SSD. Je to chytrý stěhovací trik, ale coding agent při 14 tokenech za sekundu pořád tahá krabice po jednom.