Lilith.
⌕
Ilustracja redakcyjna: Rumble-2-Flash mieści transkrypcję 45 języków w 0,5 mld parametrów
Ilustracja Lilith · remiks redakcyjny

Reson8 opublikował wagi Rumble-2-Flash na licencji Apache 2.0. Model ma 0,5 mld parametrów, jego metadane wymieniają 45 języków, a architektura Qwen3-ASR pozwala uruchomić go bezpośrednio w Transformers i vLLM bez trust_remote_code.

Pół miliarda parametrów wystarcza do pracy bez osobnego runtime

Rumble-2-Flash powstał przez destylację większego modelu produkcyjnego Rumble-2. Mniejszy model sam transkrybuje nagranie, a nauczyciel ocenia wynik token po tokenie. Metoda GOLD umożliwia porównanie mimo różnych tokenizatorów.

Model automatycznie rozpoznaje język i pozwala sterować zapisem cyfr, liczb słownie, wypełniaczy oraz powtórzeń. Obok otwartych wag Reson8 oferuje płatne API. Model card nie podaje minimalnej pamięci GPU ani maksymalnej długości nagrania.

Mały model zmienia ekonomię prywatnej transkrypcji

Pół miliarda parametrów oraz zwykła obsługa w Transformers i vLLM obniżają próg dla zespołów, które nie chcą wysyłać rozmów lub spotkań do cudzego cloud. Korzyść wykracza poza cenę. Lokalny serwer daje kontrolę nad przechowywaniem audio, opóźnieniem i aktualizacjami modelu.

W angielskiej części Open ASR Leaderboard model osiąga średnio 6,60 % WER. Na 302 godzinach rozmów obejmujących 14 angielskich akcentów Reson8 podaje 7,86 %, wobec 7,78 % dla NVIDIA Nemotron 3.5 Transcribe z 30 mld parametrów. To ciekawy wynik dla call center, lecz nadal dotyczy jednej konkretnej próbki.

Wynik 7 000 RTFx wymaga pełnych batchy i H200

Deklaracja o przepisaniu godziny audio w około pół sekundy wynika z przepustowości ponad 7 000 RTFx przy pełnych batchach. Model card informuje, że test wykonano na H200 z vLLM. Rzadkie zapytania na mniejszej karcie nie muszą powtórzyć tego wyniku.

Dokładność także mocno zależy od danych. Wyniki angielskich zestawów sięgają od 2,43 % WER na VoxPopuli do 13,14 % na prywatnym zbiorze konwersacyjnym. Dla chińskiego użyto CER, więc wspólna średnia wielojęzyczna nie jest prostym porównaniem jednej miary.

Własne nagrania powiedzą więcej niż średnia rankingu

O wdrożeniu powinien zdecydować test na prawdziwych rozmowach, mikrofonach, nazwiskach i słownictwie branżowym. Oprócz WER warto mierzyć opóźnienie przy małym batchu, zużycie pamięci oraz błędy w liczbach i nazwach własnych.

Znaczenie będzie miała również stabilność obsługi w Transformers i vLLM. Jeśli model ruszy bez forków na dostępnej grafice i utrzyma jakość w lokalnym audycie, może zastąpić znacznie większe modele transkrypcyjne. Lista 45 języków sama tego nie gwarantuje.

Werdykt Lilith

Rumble-2-Flash mieści się w mniejszym pudełku, ale mikrofon w sali konferencyjnej nie czyta tabel z leaderboardu. Prawdziwe rozmowy szybko pokażą, czy w środku jest mały silnik, czy tylko lekka maska.