2026-11-18 · ← Aktualności
Transformers uruchomił model MoE 180B na Macu z 32 GB. SSD rozwiązuje pojemność, lecz szybkość wciąż goni
Eksperyment Hugging Face uruchomił Qwen3.8-Flash-Next ze 180 miliardami parametrów na Macu M5 z 32 GB pamięci zunifikowanej. Wybrane eksperci są strumieniowani z SSD, a krótkie generowanie osiągnęło 13,9 tokena na sekundę, około 6 % mniej niż wyspecjalizowany silnik Strata.
Nie udało się wczytać obrazu.
Hugging Face pokazał eksperymentalny sposób uruchomienia Qwen3.8-Flash-Next ze 180 miliardami parametrów na Macu M5 z 32 GB pamięci zunifikowanej. System zostawia większość ekspertów na SSD, wczytuje tylko tych wskazanych przez router i osiąga 13,9 tokena na sekundę przy krótkim generowaniu.
Eksperci w 3 bitach i SSD pozwoliły zmieścić model w 32 GB
Qwen3.8-Flash-Next ma 48 warstw, po 512 ekspertów w każdej, a dla jednego tokena aktywuje 10 z nich. Eksperci zajmują 121 GB w FP8. Do tego dochodzi 51GB tabela embeddingów n-gramowych, więc zwykły offloading nie wystarczył.
W eksperymencie eksperci zostali skwantyzowani do 3 bitów, a ich 49 GB trafiło na dysk. Na urządzeniu pozostało 12 GiB cache, warstwy dense zmniejszono do 8 bitów, a wiersze tabeli n-gramowej były odczytywane z SSD według potrzeb. Po załadowaniu system zajmował około 18 GiB, a przy prompcie liczącym 6 tysięcy tokenów dochodził do 25,4 GiB. Konwersja wag trwała około 5 godzin.
Router zamienił SSD w kolejną warstwę pamięci
Standardowa ścieżka Transformers przez Accelerate przenosi cały bank ekspertów danej warstwy, choć router wykorzystuje tylko 8 lub 10 z nich. Prototyp utrzymuje ograniczony cache i odczytuje wyłącznie wybranych ekspertów. Uruchamia też wcześniej routery dwóch kolejnych warstw, aby przewidzieć dane do prefetchingu.
Najważniejszym mechanizmem jest pula wcześniej przydzielonych slotów. ID ekspertów są mapowane na sloty, dzięki czemu istniejące grouped_mm traktuje cache jak zwykły bank ekspertów. Rozwiązanie korzysta z szybkiej ścieżki Transformers bez pisania własnej implementacji mnożenia macierzy ekspertów.
Imponująca pojemność zależy od prototypu i precyzyjnie dostrojonego Maca
Na tym samym M5 końcowa wersja osiągnęła 13,9 tokena na sekundę w krótkim decode, a Strata 14,8. Prefill promptu z 4 tysiącami tokenów był nieco szybszy, 228 wobec 220 tokenów na sekundę. Decode po dokumencie z 6 tysiącami tokenów wyniósł 12,4 wobec 13,7. Autor nadal uważa około 14 tokenów na sekundę za zbyt wolne tempo dla swojego sposobu pracy z coding agentami.
Funkcja experts_offload pozostaje częścią pull requestu #50717, a jej API jest nadal omawiane z maintainerami Transformers. Wynik zależy też od pakietu przygotowanego dla konkretnego modelu, 3bitowej kwantyzacji, kerneli Metal i osobnej obsługi tabeli n-gramowej. To zmierzony eksperyment na jednej konfiguracji, a nie gotowa funkcja dostępna w standardowej instalacji Transformers.
Przydatność rozstrzygną testy innych modeli i los pull requestu
Najbliższym sygnałem będzie status pull requestu oraz kształt stabilnego API dla modeli ze standardowym układem ekspertów. Potrzebne są również testy na innych układach Apple, dyskach SSD i architekturach MoE, ponieważ trafienia cache oraz opóźnienia odczytu mogą się mocno różnić.
Przy lokalnym wdrożeniu warto mierzyć cały przepływ pracy: czas konwersji, miejsce na dysku, szybkość prefillu, długie generowanie oraz wpływ kwantyzacji na jakość. Eksperyment pokazuje, że model 180B może działać na maszynie z 32 GB. Szersze pomiary wykażą, dla których zadań opłaca się 5 godzin przygotowań i tempo około 14 tokenów na sekundę.
Werdykt Lilith
Hugging Face zmieścił model 180B w Macu z 32 GB, zostawiając większość ciężaru na SSD. To sprytna przeprowadzka, ale przy 14 tokenach na sekundę coding agent nadal wnosi pudła pojedynczo.