Wyniki modeli przestają odzwierciedlać możliwości głosowej AI

Doskonałe wyniki to już za mało, by udowodnić jakość

Publiczne testy głosowej sztucznej inteligencji coraz częściej sugerują, że modele osiągają możliwości zbliżone do ludzkich. Jednak te rankingi bywają mylące. Ponieważ publiczne benchmarki, takie jak VoxPopuli czy LibriSpeech, są powszechnie dostępne, modele mogą się pod nie optymalizować. Nowe badanie pokazuje, że wyniki rosną dzięki rozpoznawaniu wzorców w teście, a nie dzięki rzeczywistej poprawie w samej transkrypcji mowy.

Sztuczna inteligencja woli powtarzać cudze błędy

Badacze przetestowali 11 popularnych modeli ASR typu open-source, skupiając się na ich reakcji na błędy. Na przykład na nagraniu wyraźnie słychać „Dziękuję, panie prezydencie”, ale w transkrypcji referencyjnej brakuje słowa „Dziękuję”. Aż sześć z testowanych modeli posłusznie odtworzyło błędną transkrypcję bez brakującego słowa. Modele ignorują to, co faktycznie znajduje się w nagraniu audio, i kierują się odpowiedzią, jakiej oczekuje od nich benchmark.

Modele wyłapują wskazówki, które umykają ludziom

Gdy autorzy badania wyciszyli liczby w nagraniach testowych, wyszło na jaw coś zaskakującego. W teście LibriSpeech niektóre z czołowych modeli poprawnie uzupełniły brakujące liczby w 30 do 40% przypadków, mimo że fizycznie w ogóle ich nie było w dźwięku. Modele polegają na otaczających wskazówkach akustycznych i kontekście zdania, aby odgadnąć lub przywołać z pamięci tekst referencyjny, pod który zostały zoptymalizowane.

Oddzielenie danych treningowych od testowych utrudnia oszukiwanie

Gdy badacze przetestowali te same modele na świeżo zebranych danych z nowymi głosami, nagranymi po zakończeniu ich treningu, optymalizacja pod benchmark całkowicie zniknęła. Modele przestały powielać stare błędy i wróciły do wiernego transkrybowania rzeczywistego dźwięku. Pokazuje to, że testowanie na nowych, całkowicie niejawnych zestawach danych staje się kluczowe przy wyborze modeli, zamiast polegania na zestawach krążących w społeczności od lat.

Werdykt Lilith

Kiedy metryka jest publiczna, staje się celem, a modele znajdą sposób, by to wykorzystać. Transkrybowanie ciszy ze ściągawki to nie jest inteligencja, to po prostu doskonała optymalizacja na niewłaściwą rzecz.