2026-11-18 · ← News
Transformers bringt ein 180B MoE auf einen 32GB Mac und verlagert den Engpass auf die SSD
Ein Experiment von Hugging Face hat Qwen3.8-Flash-Next mit 180 Milliarden Parametern auf einem M5 Mac mit 32 GB Unified Memory ausgeführt. Ausgewählte Experten werden von der SSD gestreamt, wodurch die kurze Textgenerierung 13,9 Token pro Sekunde erreichte, rund 6 % weniger als die spezialisierte Engine Strata.
Das Bild konnte nicht geladen werden.
Hugging Face zeigt einen experimentellen Weg, Qwen3.8-Flash-Next mit 180 Milliarden Parametern auf einem M5 Mac mit 32 GB Unified Memory auszuführen. Das System lässt den Großteil der Experten auf der SSD, lädt nur die vom Router ausgewählten und erreichte bei kurzer Generierung 13,9 Token pro Sekunde.
Drei Bit Experten und SSD Speicher brachten das Modell in 32 GB unter
Qwen3.8-Flash-Next besitzt 48 Schichten mit jeweils 512 Experten und aktiviert pro Token 10 davon. Die Experten belegen 121 GB in FP8, hinzu kommt eine 51 GB große n-gram Embedding Tabelle. Herkömmliches Offloading allein reichte dafür nicht aus.
Im Experiment wurden die Experten auf 3 Bit quantisiert und mit 49 GB auf der SSD gespeichert. Ein 12 GiB großer Cache blieb auf dem Gerät, die dense Schichten wurden auf 8 Bit reduziert und benötigte Zeilen der n-gram Tabelle von der SSD gelesen. Nach dem Laden belegte das System rund 18 GiB, bei einem Prompt mit 6.000 Token stieg der Wert auf 25,4 GiB. Die Konvertierung der Gewichte dauerte ungefähr 5 Stunden.
Der Router machte die SSD zu einer weiteren Speicherstufe
Der übliche Transformers Pfad über Accelerate verschiebt die komplette Expertenbank einer Schicht, obwohl der Router nur 8 oder 10 Experten verwendet. Der Prototyp hält stattdessen einen begrenzten Cache und liest ausschließlich ausgewählte Experten. Zusätzlich führt er die Router der nächsten zwei Schichten vorzeitig aus, um Daten für den Prefetch vorherzusagen.
Der zentrale Mechanismus ist ein Pool vorab reservierter Slots. Experten IDs werden auf diese Slots abgebildet, sodass die vorhandene grouped_mm Operation den Cache wie eine normale Expertenbank verarbeitet. Damit nutzt das System den schnellen Pfad von Transformers und benötigt keine eigene Matrixmultiplikation für Experten.
Die beeindruckende Kapazität beruht auf einem Prototyp für genau diesen Mac
Auf demselben M5 erreichte die endgültige Version beim kurzen Decode 13,9 Token pro Sekunde gegenüber 14,8 bei Strata. Der Prefill eines Prompts mit 4.000 Token war mit 228 gegenüber 220 Token pro Sekunde etwas schneller. Nach einem Dokument mit 6.000 Token lag der Decode bei 12,4 gegenüber 13,7. Der Autor hält rund 14 Token pro Sekunde für seinen Workflow mit Coding Agents weiterhin für zu langsam.
Die Funktion experts_offload befindet sich noch im Pull Request #50717, und ihre API wird weiterhin mit den Transformers Maintainern diskutiert. Das Ergebnis beruht außerdem auf einem modellspezifischen Paket, 3 Bit Quantisierung, Metal Kernels und einer besonderen Behandlung der n-gram Tabelle. Es ist ein gemessener Versuch auf einer Konfiguration, keine fertige allgemeine Funktion einer üblichen Transformers Installation.
Breitere Hardwaretests und der Pull Request entscheiden über die Nutzung
Das erste Signal ist der Status des Pull Requests und die Form einer stabilen API für Modelle mit dem üblichen Expertenlayout. Ebenso wichtig sind Tests auf anderen Apple Chips, SSDs und MoE Architekturen, denn Cache Treffer und Speicherpausen können stark abweichen.
Lokale Installationen sollten den gesamten Ablauf messen: Konvertierungszeit, Speicherplatz, Prefill Geschwindigkeit, lange Generierungen und den Qualitätseffekt der Quantisierung. Der Versuch belegt, dass ein Modell mit 180 Milliarden Parametern innerhalb eines 32 GB Rechners betrieben werden kann. Breitere Messungen müssen zeigen, welche Aufgaben 5 Stunden Vorbereitung und eine Generierung nahe 14 Token pro Sekunde rechtfertigen.
Liliths Urteil
Hugging Face bringt ein 180B Modell in einem 32GB Mac unter, indem der Großteil des Gewichts auf der SSD wartet. Der Umzug ist clever, doch bei 14 Token pro Sekunde trägt der Coding Agent die Kartons weiterhin einzeln.