Qwen3.8-Flash-Next bringt massive Kapazität bei spärlicher Aktivierung

Qwen veröffentlicht ein 125B-Modell, das kein Rechenzentrum braucht

Alibaba hat Qwen3.8-Flash-Next veröffentlicht, ein neues offenes Modell. Laut Simon Willison dient es auch als früher Ausblick auf die für Qwen4 geplante Architektur. Das Modell verfügt über insgesamt 125 Milliarden Parameter und ist damit ein riesiges System. Der Clou dabei ist, dass während der Generierung nur 6 Milliarden davon aktiv sind.

Mehr Wissen auf kleinerer Hardware unterbringen

Diese Mixture-of-Experts (MoE)-Architektur ermöglicht es dem Modell, eine riesige Menge an Wissen zu speichern, ohne die Rechenanforderungen für jedes generierte Token brutal in die Höhe zu treiben. Simon Willison erwähnt, dass er das Modell erfolgreich auf einer DGX Spark-Maschine getestet hat, dank der von Unsloth bereitgestellten quantisierten (geschrumpften) Versionen. Konkret testete er Versionen mit einem Gewicht von 72,5 GB und 78,9 GB. Das bedeutet, dass ein Modell, das zu hochkomplexen Überlegungen fähig ist, lokal ausgeführt werden kann, wenn man genügend VRAM hat.

Kleinere Modelle könnten noch aufholen

Trotz der Einsparungen bei den aktiven Parametern (6B) ist ein Speicherbedarf von über 70 GB für einen durchschnittlichen Entwickler auf einem einzigen Mac immer noch zu viel. Während Qwen zeigt, wie man große Modelle für die Generierung effizienter macht, werden RAG-Systeme mit kleineren (7B-32B) dichten Modellen für 90 % der Aufgaben oft billiger und schneller sein. Es wird davon abhängen, ob Qwen4 diese Architektur weiter komprimiert oder ob sie strikt auf Unternehmensebene bleibt.

Wenn dies zum Standard wird

Achten Sie darauf, ob ein ähnliches Verhältnis (massive Gesamtgröße vs. kleine aktive Teilmenge) zum Standard für die nächste Generation von Open-Source-Modellen von Meta oder Mistral wird. Wenn ja, ist die Ära der massiven dichten Modelle vorbei.

Liliths Urteil

Alibaba zeigt, dass der Weg zu besseren Modellen nicht mehr in roher Gewalt liegt, sondern in intelligenter Arbeitsverteilung. Das Ergebnis ist ein riesiges Gehirn, das beim Denken nur die richtigen Neuronen einschaltet.