2026-11-18 · ← ニュース
180BのMoEを32GB Macで動かすTransformers、メモリ不足をSSD転送に置き換えた
Hugging Faceの実験は、1800億パラメータのQwen3.8-Flash-Nextを32GBユニファイドメモリ搭載のM5 Macで動かした。選択されたexpertだけをSSDから読み込み、短い生成では13.9 token/秒を記録し、専用エンジンStrataとの差を約6%まで縮めた。
画像を読み込めませんでした。
Hugging Faceは、1800億パラメータのQwen3.8-Flash-Nextを32GBユニファイドメモリ搭載のM5 Macで動かす実験的な方法を示した。expertの大半をSSDに置き、routerが選んだものだけを読み込むことで、短い生成では13.9 token/秒に達した。
3bitのexpertとSSDで180Bモデルを32GBに収めた
Qwen3.8-Flash-Nextは48 layerを持ち、各layerに512のexpertがあり、1 tokenごとに10個を有効化する。expertだけでFP8時に121GBを占め、さらに51GBのn-gram embedding tableがある。通常のoffloadingだけでは収まらない構成だ。
実験ではexpertを3bitに量子化し、49GBをSSDへ保存した。device上には12GiBのcacheを置き、dense layerを8bitにし、n-gram tableは必要な行だけSSDから読んだ。読み込み後の使用量は約18GiBで、6,000 tokenのpromptでは25.4GiBまで増えた。weightの変換には約5時間かかった。
routerがSSDを新しいメモリ階層に変えた
Accelerateを使う通常のTransformersは、routerが8個または10個しか使わなくても、1 layer分のexpert bank全体を移動する。今回のprototypeは容量を制限したcacheを維持し、選択されたexpertだけを読む。さらに次の2 layerのrouterを先に実行し、prefetchするexpertを予測する。
中心となる仕組みは、事前に確保したslot poolだ。expert IDをslotへ割り当て直すことで、既存のgrouped_mmはcacheを通常のexpert bankとして処理できる。専用の行列演算を新たに書かず、Transformersにある高速な処理経路を再利用した。
容量面の成果はprototypeとMac向けの細かな調整に支えられている
同じM5で最終版は短いdecodeで13.9 token/秒、Strataは14.8だった。4,000 token promptのprefillは228 token/秒で、Strataの220をわずかに上回った。6,000 tokenの文書後のdecodeは12.4で、Strataは13.7だった。著者は約14 token/秒という速度を自身のcoding agent用途には遅すぎると評価している。
experts_offloadはまだpull request #50717の段階で、APIもTransformersのmaintainerと協議中だ。結果はmodel専用package、3bit量子化、Metal kernel、n-gram table向けの特別な処理にも依存する。標準のTransformersで使える完成機能ではなく、単一構成で測定した実験である。
他のhardwareでの検証とpull requestの採用が実用性を決める
まず注目すべきはpull requestの状況と、標準的なexpert配置を持つmodel向けAPIの着地点だ。Apple chip、SSD、MoE architectureが変われば、cache hit率やstorage待ちも大きく変わるため、別構成での検証も必要になる。
local運用では、変換時間、disk容量、prefill速度、長い生成、量子化による品質への影響まで一連の流れを測るべきだ。この実験は1800億パラメータのmodelを32GBのmachineで動かせることを示した。約5時間の準備と14 token/秒前後の生成速度が見合う用途は、今後の広い測定で見えてくる。
Lilithの判定
Hugging Faceは180B modelの荷物の大半をSSDに待たせ、32GB Macへ収めた。引っ越しの工夫は見事だが、14 token/秒ではcoding agentがまだ箱を一つずつ運んでいる。