Modell-Scores spiegeln die tatsächlichen Fähigkeiten nicht mehr wider

Hervorragende Ergebnisse sind nicht länger ein ausreichender Beweis

Öffentliche Tests für Sprach-KI deuten zunehmend darauf hin, dass Modelle menschliche Fähigkeiten erreichen. Aber diese Ranglisten lügen manchmal. Da öffentliche Benchmarks wie VoxPopuli oder LibriSpeech offen sind, können Modelle direkt auf diese hin optimiert werden. Eine neue Studie zeigt, dass die Werte durch die Mustererkennung im Test steigen, nicht durch eine echte Verbesserung der zugrunde liegenden Sprachtranskription.

Die KI wiederholt lieber die Fehler anderer

Forscher testeten 11 beliebte Open-Source-ASR-Modelle und konzentrierten sich dabei darauf, wie sie auf Fehler reagieren. So heißt es in einer Aufnahme deutlich „Danke, Herr Präsident“, aber im Referenztranskript fehlt das „Danke“. Bis zu sechs der getesteten Modelle gaben das fehlerhafte Transkript ohne das fehlende Wort gehorsam wieder. Die Modelle ignorieren, was tatsächlich im Audiomaterial enthalten ist, und folgen stattdessen der Antwort, die der Benchmark von ihnen erwartet.

Modelle nehmen Hinweise wahr, die Menschen übersehen

Als die Autoren der Studie die Zahlen in den Testaufnahmen stumm schalteten, zeigte sich etwas Überraschendes. Beim LibriSpeech-Test ergänzten einige Spitzenmodelle in 30 bis 40 % der Fälle die fehlenden Zahlen korrekt, obwohl sie im Audiomaterial überhaupt nicht vorhanden waren. Die Modelle verlassen sich auf akustische Hinweise in der Umgebung und den Kontext des Satzes, um den Referenztext, auf den sie optimiert wurden, zu erraten oder abzurufen.

Die Trennung von Trainings- und Testdaten erschwert das Schummeln

Als Forscher dieselben Modelle mit frisch gesammelten Daten mit neuen Stimmen testeten, die nach dem Trainingsschluss aufgenommen wurden, verschwand die Benchmark-Optimierung vollständig. Die Modelle reproduzierten keine alten Fehler mehr und transkribierten das tatsächliche Audiomaterial wieder originalgetreu. Dies zeigt, dass Tests mit neuen, vollständig zurückgehaltenen Datensätzen für die Modellauswahl immer wichtiger werden, anstatt sich auf Datensätze zu verlassen, die seit Jahren in der Community kursieren.

Liliths Urteil

Wenn eine Metrik öffentlich ist, wird sie zum Ziel, und Modelle werden einen Weg finden, sie zu hacken. Das Transkribieren von Stille aus einem Spickzettel ist keine Intelligenz; es ist eine hervorragende Optimierung für das Falsche.