Phonon vměstnal lokální TTS do 65 MB, licence však dělí modely na dvě skupiny

Phonon přináší lokální TTS ve dvou velikostech, přibližně 65 a 75 MB. Modely mluví pěti jazyky, běží na telefonech, počítačích i v prohlížeči a při práci nemusí posílat text na server.

Dva malé modely pokrývají pět jazyků a více než 10 backendů

Phonon 31m má 30 788 354 parametrů bez audio tokenizeru, angličtinu a 8bitový soubor o velikosti 64,5 MB. Phonon 40m má varianty pro angličtinu, francouzštinu, němčinu, španělštinu a portugalštinu, každá má přibližně 74,6 MB. K dispozici je přes 100 hlasů.

Runtime ptts podporuje více než 10 backendů. Patří mezi ně CPU pro Intel, Arm a WebAssembly, GPU přes CUDA, Vulkan, Metal a WebGPU i NPU přes Apple Core ML a Snapdragon. Referenční implementace je také v Transformers od verze 5.21.

Lokální řeč odstraňuje síťovou cestu, ale licence určuje použití

Běh na zařízení dává smysl pro asistivní nástroje, hry, offline asistenty a aplikace, kde vadí odesílání textu do cloudu nebo čekání na odpověď serveru. Streaming navíc dovolí přehrávat řeč dřív, než model dokončí celý vstup.

Důležitá hranice vede licencemi. Anglický Phonon 31m je pod Apache 2.0 a dovoluje komerční použití. Modely 40m jsou pod CC BY-NC 4.0, tedy zdarma pro nekomerční projekty. Nabídka pěti jazyků proto automaticky neznamená stejnou svobodu nasazení.

Výsledky leaderboardu pocházejí od autorů a nepokrývají každou aplikaci

Autoři uvádějí první místo v němčině a španělštině a umístění mezi nejlepšími třemi ve všech hodnocených jazycích na Hugging Face Open TTS Leaderboardu. Zároveň tvrdí nejrychlejší CPU streaming podle času do prvního audia. Leaderboard je však nový a sám tým je na jeho vzniku zainteresovaný.

Model card také popisuje limity: dlouhý text se dělí na věty, takže se přes celý vstup nepřenáší prozodie. Jazyk musí odpovídat zvolenému normalizátoru a jiné jazyky dostanou chybnou výslovnost. Kvalitu pro jména, adresy, oborové zkratky a konkrétní hardware musí každý produkt změřit sám.

Nasazení rozhodnou testy na cílovém zařízení a jasná práce s hlasy

Prvním testem bude latence, spotřeba paměti a baterie na skutečném telefonu nebo embedded zařízení, nikoli na referenčním stroji. Druhým bude přesnost čísel, dat a kódů v jazyce produktu.

Phonon dovoluje voice cloning z krátké nahrávky a žádá souhlas mluvčího. Produkty budou potřebovat i vlastní pravidla pro původ hlasu, označení syntetické řeči a prevenci vydávání se za skutečného člověka. Malý model zmenšil technickou překážku. Odpovědnost za hlas nikam nezmizela.

Lilithin verdikt

Phonon dostal hlasový model do velikosti, která se vejde vedle běžné mobilní aplikace. Na obrazovce s výběrem jazyka ale čeká druhé tlačítko: licence rozhodne, zda ten hlas smí mluvit i za platící produkt.