Wortfehlerrate (WER)

Die Wortfehlerrate (WER) ist eine Kennzahl, die angibt, wie viele Wörter ein Transkript im Vergleich zu einem Referenztext falsch wiedergibt, auslässt oder zusätzlich enthält. Der englische Fachbegriff dafür ist Word Error Rate. Sie berechnet sich aus der Summe von Ersetzungen, Auslassungen und Einfügungen, geteilt durch die Wortzahl des Referenztexts, und ist das gängige Maß zur Bewertung automatischer Spracherkennung.

So funktioniert es

Die Wortfehlerrate vergleicht zwei Wortfolgen: den Referenztext, also den belegten Wortlaut einer Aufnahme, und die Hypothese, also das Transkript der Spracherkennung. Morris, Maier und Green (2004) beschreiben WER als die Kosten, die nötig sind, um die Hypothese Wort für Wort in den Referenztext zurückzuverwandeln: ein Wort ersetzen ($S$), ein fehlendes Wort einfügen ($D$ für Deletion im Referenztext) oder ein überzähliges Wort streichen ($I$ für Insertion in der Hypothese). Die Formel lautet

$$\text{WER} = \frac{S + D + I}{N}$$

wobei $N$ die Wortzahl des Referenztexts ist.

Ein Beispiel: Der Referenztext “Der Zeuge betrat um neunzehn Uhr den Raum” hat sieben Wörter. Erkennt die Software “Der Zeuge betrat um neunzehn Uhr denn Raum”, liegt eine Ersetzung vor (den zu denn), also $S = 1$, $D = 0$, $I = 0$ und damit $\text{WER} = \frac{1 + 0 + 0}{7} \approx 0{,}14$. Fehlt ein Wort ganz, zählt das als Auslassung, erfindet die Erkennung ein zusätzliches Wort, zählt das als Einfügung.

Weil Einfügungen mitgezählt werden, kann die Wortfehlerrate über 1,0 steigen.

Wofür wird sie gebraucht

Die Wortfehlerrate dient als vergleichbares Maß, um Spracherkennungssysteme gegeneinander zu testen und ihre Grenzen zu benennen. Koenecke et al. (2020) verglichen fünf kommerzielle Systeme und maßen bei sonst gleichem Text eine Wortfehlerrate von 0,35 bei Aufnahmen schwarzer Sprecher gegenüber 0,19 bei weißen Sprechern. Die Zahl zeigt, dass ein System kein einziges Fehlerniveau hat, sondern je nach Sprecher, Dialekt und Aufnahmesituation unterschiedlich abschneidet.

Für die Praxis folgt daraus, die Wortfehlerrate nicht als einen pauschalen Wert zu nehmen, sondern getrennt nach den Aufnahmetypen zu prüfen, die tatsächlich vorkommen. Ein System, das bei einem sauberen Diktat sehr gut abschneidet, kann bei überlappender Rede oder starkem Dialekt deutlich schlechter liegen.

Abgrenzung

Die Zeichenfehlerrate (CER) rechnet denselben Ansatz auf Buchstabenebene statt auf Wortebene. Eine falsch geschriebene Abkürzung zählt bei der Wortfehlerrate als ganzer Fehler, bei der Zeichenfehlerrate nur als die abweichenden Buchstaben. Der Hugging-Face-Audiokurs nennt die Wortfehlerrate deshalb anfällig dafür, Rechtschreibfehler unabhängig von ihrem Schweregrad zu bestrafen.

Die Diarisierungsfehlerrate (DER) misst nicht den Wortlaut, sondern die Zuordnung von Sprechabschnitten zu Sprechern. Die Dokumentation von pyannote.metrics definiert sie als Anteil der Sprechzeit, der als Pause gewertet, fälschlich als Sprache erfunden oder dem falschen Sprecher zugeordnet wurde. Wortfehlerrate und Diarisierungsfehlerrate messen damit unabhängige Dinge: Ein Transkript kann jedes Wort richtig haben und trotzdem die Sprecher vertauschen.

Genauigkeit wird oft als $1 - \text{WER}$ berechnet, ist damit aber keine eigenständige Messgröße. Weil Einfügungen die Wortfehlerrate über 1,0 treiben können, wird die so berechnete Genauigkeit rechnerisch negativ, sobald eine Erkennung mehr Wörter erfindet, als der Referenztext enthält.

Bedeutung im forensischen Kontext

Forensische Transkripte aus Vernehmungen, Explorationen oder Telefonüberwachung werden zitiert, ausgewertet und in Akten übernommen. Ein hoher Fehleranteil an Stellen, die später ausgelegt werden, wirkt sich unmittelbar auf die Verwertung aus.

Die Wortfehlerrate hängt stark von der Aufnahmeart ab, etwa von der Zahl der Sprecher und davon, ob sie einander ins Wort fallen. Ein einzelner Wert von einer Produktseite sagt deshalb wenig darüber, wie ein System bei einer konkreten Vernehmung oder TKÜ-Aufnahme abschneidet.

Für die Arbeit am Transkript folgt daraus: Der Bearbeiter ersetzt die Fehlerquote nicht durch Gegenhören, sondern nutzt sie als Anhaltspunkt für den Prüfaufwand. Aufnahmen mit vielen Sprechern oder Nebengeräuschen bekommen mehr Zeit beim Abgleich mit dem Ton als ein sauberes Diktat.

Häufige Fragen

Was bedeutet eine Wortfehlerrate von 0,1?

Von 100 Wörtern des Referenztexts weichen 10 in der Hypothese ab, durch Ersetzung, Auslassung oder Einfügung. Welche Wörter betroffen sind, sagt die Zahl allein nicht. Das prüft der Bearbeiter, indem er den Text gegen die Aufnahme liest.

Ist eine niedrige Wortfehlerrate gleichbedeutend mit einem verwertbaren Transkript?

Nein. Die Wortfehlerrate bewertet nur den Wortlaut, nicht die Sprecherzuordnung, die Zeichensetzung oder ob ein einzelner Fehler den Sinn eines Satzes verändert. Eine falsche Jahreszahl in einem Zitat kann schwerer wiegen als mehrere fehlende Füllwörter, auch wenn beide gleich in die Zahl eingehen.

Warum unterscheiden sich Wortfehlerraten zwischen Studien so stark?

Weil Referenztext, Aufnahmebedingung und Sprache das Ergebnis bestimmen. Koenecke et al. (2020) maßen bei gleichem Text und gleichen Systemen 0,35 gegenüber 0,19, je nachdem, welche Personengruppe sprach. Werte aus unterschiedlichen Testsätzen sind deshalb nur vergleichbar, wenn Referenztext und Aufnahmeart übereinstimmen.

Quellen

1. Morris, A. C., Maier, V., Green, P. (2004): From WER and RIL to MER and WIL: improved evaluation measures for connected speech recognition. Interspeech 2004, S. 2765 bis 2768, doi:10.21437/Interspeech.2004-668. https://www.isca-archive.org/interspeech_2004/morris04_interspeech.html
2. Hugging Face: Evaluation metrics for ASR. Audio Course, Kapitel 5. https://huggingface.co/learn/audio-course/en/chapter5/evaluation
3. Koenecke, A. et al. (2020): Racial disparities in automated speech recognition. PNAS, veröffentlicht 07.04.2020, doi:10.1073/pnas.1915768117. https://www.pnas.org/doi/10.1073/pnas.1915768117
4. pyannote.metrics, Dokumentation, Abschnitt Diarization error rate. https://pyannote.github.io/pyannote-metrics/reference.html