2026-11-18 · ← Noticias
Transformers ejecuta un MoE de 180B en un Mac de 32 GB trasladando la memoria al SSD
Un experimento de Hugging Face ejecutó Qwen3.8-Flash-Next, con 180.000 millones de parámetros, en un Mac M5 con 32 GB de memoria unificada. El sistema carga desde el SSD solo los expertos seleccionados y alcanzó 13,9 tokens por segundo en generación corta, cerca de un 6 % por debajo del motor especializado Strata.
No se pudo cargar la imagen.
Hugging Face ha mostrado una vía experimental para ejecutar Qwen3.8-Flash-Next, con 180.000 millones de parámetros, en un Mac M5 con 32 GB de memoria unificada. El sistema mantiene la mayoría de los expertos en el SSD, carga solo los elegidos por el router y alcanzó 13,9 tokens por segundo en generación corta.
Los expertos a 3 bits y el SSD encajaron el modelo en 32 GB
Qwen3.8-Flash-Next tiene 48 capas, 512 expertos por capa y activa 10 para cada token. Los expertos ocupan 121 GB en FP8 y el modelo añade una tabla de embeddings n-gram de 51 GB. El offloading convencional no bastaba para alojar todo el conjunto.
El experimento cuantizó los expertos a 3 bits y guardó sus 49 GB en disco. Mantuvo una cache de 12 GiB en el dispositivo, redujo las capas dense a 8 bits y leyó del SSD las filas necesarias de la tabla n-gram. El uso de memoria quedó en unos 18 GiB tras la carga y llegó a 25,4 GiB con un prompt de 6.000 tokens. Convertir los pesos llevó alrededor de 5 horas.
El router convirtió el SSD en otro nivel de memoria
La ruta habitual de Transformers mediante Accelerate mueve el banco completo de expertos de una capa aunque el router solo utilice 8 o 10. El prototipo conserva una cache limitada y lee únicamente los expertos seleccionados. También ejecuta por adelantado los routers de las dos capas siguientes para anticipar qué datos conviene cargar.
La pieza central es un pool de slots preasignados. Los ID de los expertos se reasignan a esos slots, de modo que la operación grouped_mm existente trata la cache como un banco normal de expertos. Así se reutiliza la ruta rápida de Transformers sin desarrollar una multiplicación de matrices específica.
La capacidad sorprende, pero depende de un prototipo ajustado para ese Mac
En el mismo M5, la versión final alcanzó 13,9 tokens por segundo en decode corto frente a 14,8 de Strata. El prefill de un prompt de 4.000 tokens fue algo más rápido, 228 frente a 220 tokens por segundo, mientras que el decode tras un documento de 6.000 tokens llegó a 12,4 frente a 13,7. El autor sigue considerando que unos 14 tokens por segundo resultan demasiado lentos para su flujo de trabajo con coding agents.
La función experts_offload permanece en el pull request #50717 y su API continúa en discusión con los maintainers de Transformers. El resultado también depende de un paquete específico para el modelo, cuantización a 3 bits, kernels Metal y un tratamiento especial de la tabla n-gram. Es un experimento medido en una configuración concreta, no una función general terminada en una instalación normal de Transformers.
La adopción dependerá de más hardware y de que se integre el pull request
La primera señal será el estado del pull request y la forma de una API estable para modelos con una disposición estándar de expertos. También hacen falta pruebas con otros chips de Apple, SSD y arquitecturas MoE, porque la tasa de aciertos de la cache y las esperas del almacenamiento pueden variar mucho.
Un despliegue local debería medir el flujo completo: tiempo de conversión, espacio en disco, velocidad de prefill, generaciones largas y efecto de la cuantización sobre la calidad. El experimento demuestra que un modelo de 180.000 millones de parámetros puede funcionar dentro de una máquina de 32 GB. Las mediciones más amplias dirán qué tareas justifican 5 horas de preparación y una generación cercana a 14 tokens por segundo.
El veredicto de Lilith
Hugging Face metió un modelo de 180B en un Mac de 32 GB dejando casi todo el peso a la espera en el SSD. Es una mudanza ingeniosa, pero a 14 tokens por segundo el coding agent aún sube las cajas de una en una.