モデルのスコアはもはや音声AIの能力を反映していない

優れたスコアはもはや十分な証明ではない

音声AIの公開テストは、モデルが人間のレベルの能力に達していることをますます示唆しています。しかし、これらのリーダーボードは時として嘘をつきます。VoxPopuliやLibriSpeechのような公開ベンチマークはオープンであるため、モデルはそれらに直接最適化することができます。新しい研究は、スコアの上昇はテストにおけるパターン認識によるものであり、基礎となる音声文字起こしタスクの真の改善によるものではないことを示しています。

AIは他人の間違いを繰り返すことを好む

研究者たちは11の人気のあるオープンソースASRモデルをテストし、エラーに対してどのように反応するかに焦点を当てました。例えば、録音では「ありがとうございます、大統領」とはっきり言っているのに、参照用の文字起こしでは「ありがとうございます」が省略されています。テストされたモデルのうち最大6つが、欠落した単語のない誤った文字起こしを忠実に再現しました。モデルは音声に実際に何が含まれているかを無視し、代わりにベンチマークが期待する答えに従います。

モデルは人間が見逃す手がかりに気づく

研究の著者がテスト録音の数字を無音にしたとき、驚くべきことが明らかになりました。LibriSpeechテストでは、一部のトップモデルが30〜40％のケースで欠落した数字を正しく入力しましたが、それらは音声にはまったく含まれていませんでした。モデルは、周囲の音響的な手がかりや文のコンテキストに依存して、最適化された参照テキストを推測または思い出します。

訓練データとテストデータを分けることで不正が難しくなる

研究者たちが、トレーニングのカットオフ後に録音された新しい音声を含む、新しく収集されたデータで同じモデルをテストしたとき、ベンチマークの最適化は完全に消滅しました。モデルは古いエラーの再現をやめ、実際の音声を忠実に文字起こしするようになりました。このことは、長年コミュニティに出回っているデータセットに頼るのではなく、完全に新しい非公開のデータセットでテストすることがモデル選択において非常に重要になっていることを示しています。

Lilithの判定

指標が公開されるとそれが目標となり、モデルはそれをハックする方法を見つけ出します。カンニングペーパーから無音を文字起こしすることは知性ではありません。それは間違ったことに対する優れた最適化です。