Lilith.
⌕
Ilustracja redakcyjna: Phonon mieści lokalne TTS w 65 MB, ale licencje dzielą rodzinę modeli
Ilustracja Lilith · remiks redakcyjny

Phonon zamyka lokalne TTS w dwóch rozmiarach, około 65 i 75 MB. Modele obsługują pięć języków, działają na telefonach, komputerach i w przeglądarce, a tekst nie musi opuszczać urządzenia.

Dwa małe modele obsługują pięć języków i ponad 10 backendów

Phonon 31m ma 30 788 354 parametrów bez audio tokenizera, mówi po angielsku i zajmuje 64,5 MB w wersji 8-bitowej. Phonon 40m występuje w odmianach angielskiej, francuskiej, niemieckiej, hiszpańskiej i portugalskiej po około 74,6 MB. Katalog zawiera ponad 100 głosów.

Runtime ptts obsługuje więcej niż 10 backendów. Obejmuje CPU dla Intel, Arm i WebAssembly, GPU przez CUDA, Vulkan, Metal i WebGPU oraz NPU przez Apple Core ML i Snapdragon. Implementacja referencyjna jest też dostępna w Transformers od wersji 5.21.

Lokalna synteza usuwa podróż do chmury, a licencja wyznacza użycie

Praca na urządzeniu pasuje do narzędzi dostępnościowych, gier, asystentów offline i produktów, które nie mogą wysyłać tekstu do chmury ani czekać na serwer. Streaming pozwala zacząć odtwarzanie przed przetworzeniem całego tekstu.

Najważniejsza granica przebiega między licencjami. Angielski Phonon 31m korzysta z Apache 2.0 i dopuszcza użycie komercyjne. Modele 40m mają CC BY-NC 4.0 i są bezpłatne dla projektów niekomercyjnych. Pięć języków nie oznacza więc jednakowej swobody wdrożenia.

Wyniki leaderboardu pochodzą od autorów i nie opisują każdego produktu

Zespół podaje pierwsze miejsce dla niemieckiego i hiszpańskiego oraz pozycję w pierwszej trójce dla każdego ocenianego języka na Hugging Face Open TTS Leaderboard. Deklaruje też najlepszy czas do pierwszego dźwięku przy streamingu na CPU. Leaderboard jest jednak nowy, a wyniki interpretuje sam dostawca.

Model card wymienia konkretne ograniczenia. Długi tekst jest dzielony na zdania, więc prozodia nie obejmuje całej wypowiedzi. Język musi pasować do normalizatora, a tekst spoza obsługiwanych języków dostanie błędną wymowę. Każdy produkt powinien sprawdzić nazwy, adresy, skróty branżowe i docelowy sprzęt.

Testy na urządzeniu i zasady użycia głosu zdecydują o wdrożeniu

Pierwszy sprawdzian to opóźnienie, pamięć i bateria na prawdziwym telefonie lub urządzeniu embedded, a nie na maszynie referencyjnej. Drugi to poprawna wymowa liczb, dat i kodów w języku produktu.

Phonon obsługuje voice cloning z krótkiego nagrania i wymaga zgody mówcy. Produkty potrzebują też zasad pochodzenia głosu, oznaczania syntetycznej mowy i ochrony przed podszywaniem się. Mały model obniża próg techniczny. Odpowiedzialność za głos pozostaje na miejscu.

Werdykt Lilith

Phonon zmieścił model głosowy obok zwykłej aplikacji mobilnej. Ekran wyboru języka potrzebuje jednak drugiego przycisku: licencja rozstrzyga, czy ten głos może przemówić również w płatnym produkcie.