PhononはローカルTTSを65 MBに圧縮、ただしライセンスが製品利用を分ける

Phononは、約65 MBと75 MBの二つのサイズでローカルTTSを提供する。5言語に対応し、電話、PC、browserで動作する。音声生成のためにテキストをserverへ送る必要もない。

二つの小型modelが5言語と10種類を超えるbackendを支える

Phonon 31mはaudio tokenizerを除いて30,788,354 parametersで、英語に対応し、8 bit版は64.5 MBだ。Phonon 40mには英語、フランス語、ドイツ語、スペイン語、ポルトガル語の版があり、それぞれ約74.6 MB。100種類を超えるvoiceも用意される。

ptts runtimeは10種類を超えるbackendを扱う。Intel、Arm、WebAssemblyのCPU、CUDA、Vulkan、Metal、WebGPUのGPU、Apple Core MLとSnapdragonのNPUを含む。Transformers 5.21から参照実装も利用できる。

ローカル音声は通信を省くが、利用範囲はライセンスが決める

端末内実行は、accessibility tool、game、offline assistant、テキストをcloudへ送れない製品、server応答を待てない製品に向く。streamingなら入力全体の処理が終わる前に再生を始められる。

重要な境界はライセンスだ。英語版Phonon 31mはApache 2.0で商用利用できる。40m modelはCC BY-NC 4.0で、無料利用は非商用projectに限られる。5言語に対応しても、同じ条件で製品へ組み込めるわけではない。

leaderboardの上位成績だけでは個別製品の品質は決まらない

開発teamは、Hugging Face Open TTS Leaderboardでドイツ語とスペイン語が1位、評価した全言語で3位以内と報告する。CPU streamingでは最初の音声までの時間も首位だという。ただしleaderboardは新しく、結果を説明しているのはvendor自身だ。

model cardには制約もある。長文は文ごとに分割され、全体を通したprosodyは維持されない。言語設定はnormalizerと一致させる必要があり、未対応言語は誤った発音になる。名前、住所、専門略語、対象hardwareは各製品が独自に試験すべきだ。

対象端末での試験とvoice管理が導入を決める

最初に測るべきなのは、参照machineではなく実際の電話やembedded deviceでのlatency、memory、battery消費だ。次に、製品言語の数字、日付、codeを正確に読めるかを確認する必要がある。

Phononは短い録音からvoice cloningでき、話者の同意を求めている。製品側にもvoiceの出所、合成音声の表示、なりすまし防止のルールが必要だ。小型modelは技術的な壁を下げたが、声に対する責任までは消していない。

Lilithの判定

Phononは音声modelを普通のmobile appの隣に置ける大きさまで縮めた。ただし言語選択の横にはもう一つのスイッチが要る。その声を有料製品で使えるかはライセンスが決める。