Whisper (Spracherkennungsmodell)

Whisper ist ein von OpenAI veröffentlichtes Spracherkennungsmodell, das gesprochene Sprache in Text überträgt. Radford et al. (2022) trainierten es mit 680.000 Stunden mehrsprachiger und mehrfach beschrifteter Audiodaten und erreichten damit in vielen Sprachen eine Erkennungsleistung ohne zusätzliches Fein-Training auf die Zielsprache. Andere Bezeichnung ist OpenAI Whisper. Mehrere lokal lauffähige Umsetzungen wie faster-whisper übernehmen das Modell für den Einsatz ohne Internetverbindung.

So funktioniert es

Whisper ist ein Encoder-Decoder-Transformer. Radford et al. (2022) beschreiben den Ablauf: Die Aufnahme wird auf 16.000 Hz umgetastet, aus 25-Millisekunden-Fenstern mit 10 Millisekunden Vorschub entsteht ein 80-Kanal-Mel-Spektrogramm. Der Encoder verarbeitet dieses Spektrogramm über zwei Faltungsschichten und anschließende Transformer-Blöcke, der Decoder erzeugt daraus den Text token-weise, gestützt auf das Spektrogramm und den bereits erzeugten Text.

Das Paper listet fünf Modellgrößen, von Tiny mit 39 Millionen bis Large mit 1.550 Millionen Parametern. Von den 680.000 Trainingsstunden entfallen 117.000 Stunden auf 96 Sprachen außer Englisch und 125.000 Stunden auf Übersetzungsdaten von einer Fremdsprache ins Englische (Radford et al., 2022). Die Modellkarte zu large-v3 auf Hugging Face nennt für diese Version ein erweitertes Training mit 1 Million Stunden schwach beschrifteter und 4 Millionen Stunden pseudo-beschrifteter Audiodaten, zwei Durchläufe über diesen Datensatz, ein Mel-Spektrogramm mit 128 statt 80 Kanälen und einen zusätzlichen Sprachtoken für Kantonesisch. Gegenüber large-v2 sinkt die Fehlerrate laut derselben Modellkarte um 10 bis 20 Prozent, gemessen über mehrere Sprachen.

Large-v3-turbo ist eine verkleinerte Fassung von large-v3. Die Modellkarte auf Hugging Face nennt eine Reduktion der Decoder-Schichten von 32 auf 4, wodurch die Parameterzahl von 1.550 auf 809 Millionen sinkt. Die Modellkarte beschreibt das Ergebnis als deutlich schneller bei geringfügigem Qualitätsverlust, ohne diesen in einer eigenen Zahl zu beziffern.

Mehrere Umsetzungen laden dieselben Gewichte in andere Rechen-Engines, um Whisper lokal und ohne Cloud-Anbindung auszuführen. faster-whisper ersetzt laut Projekt-Repository auf GitHub die ursprüngliche PyTorch-Ausführung durch die Inferenz-Engine CTranslate2 und nennt für large-v2 auf einer GPU 1 Minute 3 Sekunden statt 2 Minuten 23 Sekunden für 13 Minuten Audio, bei zugleich geringerem Speicherbedarf. In memozero laufen daneben die Backends MLX für Apple-Silicon-Rechner und IFW (Insanely Fast Whisper) auf Basis der Transformers-Bibliothek, beide mit den Modellen large-v3 und large-v3-turbo.

Bedeutung für Transkripte im forensischen Kontext

Weil Whisper offen veröffentlicht ist, lässt es sich auf dem Rechner des Bearbeiters ausführen, ohne die Aufnahme an einen Cloud-Dienst zu senden. Diese lokale Verarbeitung ist bei Vernehmungen, Explorationen oder Telefonüberwachungen relevant, weil die Aufnahme das eigene Gerät nicht verlässt. Für ein forensisches Transkript ersetzt das Modell jedoch nicht die Prüfung am Originalton.

Radford et al. (2022) nennen als eigene Fehlerklasse die vollständige Halluzination, bei der Whisper einen Text ausgibt, der zur Aufnahme keinen Bezug hat, sowie das Steckenbleiben in Wiederholungsschleifen. Die Erkennungsqualität schwankt außerdem mit Dialekt und Sprechweise: Die Modellkarte zu large-v3 belegt die Fehlerrate nur gemittelt über Sprachen, nicht getrennt nach Dialekten. Ein Bearbeiter kann sich deshalb nicht darauf verlassen, dass ein flüssig klingendes Transkript auch inhaltlich richtig ist.

Abgrenzung

Sprecherdiarisierung ordnet Abschnitte einer Aufnahme einem Sprecher zu, ohne Wörter zu erkennen. Whisper übernimmt in einer Transkriptionspipeline den umgekehrten Schritt: den Text erkennen, ohne den Sprecher zu bestimmen. Beide Ergebnisse werden erst nachträglich über die Zeitachse verbunden.

Cloud-Spracherkennungsdienste senden die Aufnahme an einen externen Server und liefern den Text von dort zurück. Ein lokal ausgeführtes Whisper-Modell verarbeitet die Aufnahme auf dem eigenen Rechner; online läuft in einer solchen Anwendung nur, was nicht die Aufnahme selbst betrifft, etwa eine Lizenzprüfung oder der einmalige Modell-Download.

Viele Anwendungen, die Whisper nutzen, bieten ein Wörterbuch an. Darin trägt der Nutzer Namen, Orte oder Fachbegriffe ein, die das Modell sonst häufig falsch schreibt. Ein solches Wörterbuch verändert nicht das Modell, sondern den Text, den das Modell vor der Erkennung als Kontext erhält. Es erhöht die Trefferquote bei bekannten Begriffen, ohne die zugrunde liegenden Gewichte von Whisper zu ändern.

Häufige Fragen

Braucht Whisper eine Internetverbindung für die Erkennung selbst?

Nein. Nach dem einmaligen Herunterladen der Modelldatei führt eine Umsetzung wie faster-whisper, MLX oder IFW die Erkennung auf dem lokalen Rechner aus. Nur der Modell-Download selbst braucht eine Verbindung.

Ist large-v3-turbo ungenauer als large-v3?

Die Modellkarte auf Hugging Face nennt einen geringfügigen Qualitätsverlust gegenüber large-v3, ohne ihn in einer eigenen Zahl zu beziffern.

Erkennt Whisper jeden Dialekt gleich gut?

Die Modellkarte zu large-v3 belegt eine Fehlerrate nur gemittelt über 99 Sprachen, keine eigene Zahl je Dialekt. Ein Bearbeiter prüft deshalb bei starkem Dialekt oder Umgangssprache jeden auffälligen Abschnitt am Originalton, statt sich auf den Lesefluss des Transkripts zu verlassen.

Quellen

1. Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., Sutskever, I. (2022): Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356. https://arxiv.org/abs/2212.04356
2. SYSTRAN (2025): faster-whisper, README mit Benchmark-Tabelle. https://github.com/SYSTRAN/faster-whisper
3. OpenAI (2024): Modellkarte whisper-large-v3. https://huggingface.co/openai/whisper-large-v3
4. OpenAI (2024): Modellkarte whisper-large-v3-turbo. https://huggingface.co/openai/whisper-large-v3-turbo