Qwen3.8-Flash-Next to ogromny model, który oszczędza pamięć

Qwen wypuszcza model 125B, który nie potrzebuje serwerowni

Alibaba udostępniła Qwen3.8-Flash-Next, nowy model z otwartą architekturą. Według Simona Willisona służy on również jako wczesna zapowiedź architektury, którą otrzyma nadchodzący Qwen4. Model ma łącznie 125 miliardów parametrów, co czyni go potężnym systemem. Haczyk w tym, że podczas generowania aktywuje się z nich tylko 6 miliardów.

Jak zmieścić więcej wiedzy na mniejszym sprzęcie

Architektura Mixture-of-Experts (MoE) pozwala upchnąć w modelu ogromną ilość wiedzy, bez drastycznego zwiększania wymagań obliczeniowych przy każdym wygenerowanym tokenie. Simon Willison wspomina, że z powodzeniem testował model na maszynie DGX Spark, dzięki skwantowanym wersjom od Unsloth. Konkretnie testował wersje o rozmiarach 72,5 GB i 78,9 GB. Oznacza to, że model zdolny do bardzo złożonego wnioskowania można uruchomić lokalnie, pod warunkiem odpowiedniego zasobu VRAM.

Mniejsze modele wciąż mogą wygrywać

Mimo oszczędności w aktywnych parametrach (6B), rozmiar na dysku rzędu 70 GB to wciąż za dużo dla przeciętnego programisty z jednym Makiem. Qwen pokazuje co prawda drogę, jak ulepszyć duże modele pod kątem generowania, ale systemy RAG z mniejszymi (7B-32B) modelami gęstymi często sprawdzą się taniej i szybciej w 90% zadań. Wszystko zależy od tego, czy Qwen4 jeszcze bardziej skompresuje tę architekturę, czy też pozostanie ona zarezerwowana dla zastosowań korporacyjnych.

Czy to stanie się standardem

Należy obserwować, czy podobne proporcje (ogromny całkowity rozmiar vs mała część aktywna) staną się standardem dla kolejnych modeli open-source od Mety czy Mistrala. Jeśli tak, to epoka wielkich modeli gęstych dobiega końca.

Werdykt Lilith

Alibaba udowadnia, że droga do lepszych modeli to już nie brutalna siła, ale inteligentna dystrybucja pracy. W efekcie otrzymujemy potężny mózg, który do myślenia uruchamia tylko właściwe neurony.