Lilith.
⌕
Redakční ilustrace: Rumble-2-Flash stlačil přepis 45 jazyků do modelu s 0,5 miliardy parametrů
Ilustrace Lilith · redakční remix

Reson8 zveřejnil váhy Rumble-2-Flash pod licencí Apache 2.0. Model má 0,5 miliardy parametrů. Metadata uvádějí 45 jazyků. Díky architektuře Qwen3-ASR běží přímo v Transformers a vLLM bez trust_remote_code.

Půlmiliardový model míří na přepis bez zvláštního runtime

Rumble-2-Flash vznikl destilací většího produkčního modelu Rumble-2. Student přepisuje zvuk sám. Učitel hodnotí jeho výstup po jednotlivých tokenech. Metoda GOLD přitom umožňuje porovnat modely s odlišnými tokenizéry.

Model umí automaticky rozpoznat jazyk a řídit podobu výstupu, například číslice, slovní zápis čísel, výplňová slova nebo opakování. Vedle otevřených vah nabízí Reson8 i placené API. Samotný model card neuvádí minimální grafickou paměť ani maximální délku nahrávky.

Malá velikost mění ekonomiku soukromého přepisu

Půl miliardy parametrů s běžnou podporou v Transformers a vLLM snižuje překážku pro týmy, které nechtějí posílat hovory nebo porady do cizího cloudu. Přínos není jen v ceně. Lokální běh dává provozovateli kontrolu nad tím, kde audio zůstane. Řídí také latenci a aktualizace modelu.

Na anglické části Open ASR Leaderboard dosáhl model průměrné WER 6,60 %. Na 302 hodinách hovorů se 14 anglickými přízvuky uvádí Reson8 7,86 %, zatímco NVIDIA Nemotron 3.5 Transcribe s 30 miliardami parametrů má 7,78 %. To je prakticky zajímavé hlavně pro call centra, ale pořád jde o konkrétní testovací sadu.

Rychlost 7 000 RTFx potřebuje plné dávky a H200

Tvrzení o přepisu hodiny audia přibližně za půl sekundy vychází z propustnosti přes 7 000 RTFx při plných dávkách. Model card uvádí měření na H200 s vLLM. Řídký provoz na menší kartě proto nemůže automaticky očekávat stejné číslo.

Také přesnost se mezi daty výrazně mění. Anglické dílčí výsledky sahají od 2,43 % WER na VoxPopuli po 13,14 % na soukromé konverzační sadě. U čínštiny se navíc měří CER, takže společný vícejazyčný průměr není jednoduché srovnání jedné veličiny.

Vlastní nahrávky ukážou víc než průměr leaderboardu

Před nasazením rozhodne test na skutečných hovorech, mikrofonech, jménech a oborovém slovníku. Tým by měl vedle WER měřit i latenci při malé dávce a spotřebu paměti. Ověřit musí také čísla a vlastní jména.

Důležitá bude také stabilita podpory v Transformers a vLLM. Pokud se model rozběhne bez forků na dostupné grafice a udrží kvalitu na lokálním auditu, může nahradit mnohem větší přepisovací modely. Samotných 45 jazyků na kartě tento výsledek ještě nezaručuje.

Lilithin verdikt

Rumble-2-Flash se vejde do menší krabice, ale mikrofon zasedačky si na tabulku leaderboardu nehraje. Kdo ho pustí na vlastní hovory, rychle zjistí, zda dostal malý motor, nebo jen lehkou kapotu.