Wort-Zeitstempel

Ein Wort-Zeitstempel ist die Start- und Endzeit, die eine Spracherkennung einem einzelnen erkannten Wort in der Aufnahme zuweist. Andere Bezeichnungen sind Wortzeitstempel und Word Timestamps. Der Zeitstempel beantwortet, wann genau ein Wort gesprochen wurde, und unterscheidet sich damit vom Segment-Zeitstempel, der nur den Zeitraum eines ganzen Satzes oder einer Äußerung angibt.

So funktioniert es

Das Spracherkennungsmodell Whisper liefert von sich aus keine Wort-Zeitstempel. Bain et al. (2023) halten dazu fest: “timestamps corresponding [to] each utterance are prone to inaccuracies and word-level timestamps are not available out-of-the-box.” Whisper erkennt Text in Segmenten, die einem Satz oder einer Sprechpause entsprechen, nicht in einzelnen Wörtern mit eigener Zeit.

Das Werkzeug WhisperX schließt diese Lücke laut Bain et al. (2023) durch “voice activity detection and forced phoneme alignment”. Nach der Erkennung des Textes durch Whisper ordnet ein zweites, sprachspezifisches Modell (ein wav2vec2-Phonemmodell) jedem Laut eine Position in der Audiospur zu und leitet daraus die Start- und Endzeit jedes Wortes ab. Das ursprüngliche Whisper-Modell (Radford et al., 2022) bleibt für die Erkennung des Textes zuständig, die Zeitangabe je Wort kommt aus diesem zweiten Schritt. In der Transkriptionspipeline von memozero läuft dieser Schritt für die Backends faster-whisper und MLX; das Backend IFW berechnet Wort-Zeitstempel in einem eigenen, bereits eingebauten Schritt.

Bedeutung für Forschung mit Gesprächsdaten

Wer ein Transkript als Datenbasis für eine Untersuchung nutzt, braucht mehr als den Wortlaut. Sprechgeschwindigkeit, Pausenlänge, Antwortlatenz nach einer Frage oder der zeitliche Abstand zwischen zwei Sprechern lassen sich nur berechnen, wenn jedes Wort eine eigene Start- und Endzeit trägt. Ein Segment-Zeitstempel je Satz reicht dafür nicht, weil er die Verteilung der Wörter innerhalb des Satzes verschweigt.

memozero speichert Wort-Zeitstempel in Millisekunden. Damit liegt die Auflösung unter der Dauer eines einzelnen Lautes und deutlich unter dem, was ein Mensch beim Abhören von Hand markieren kann. Eine Pause von 400 Millisekunden vor einer Antwort ist als Zahl in den Daten enthalten, ohne dass jemand die Aufnahme dafür ausmessen muss. Die Genauigkeit der Zeitstempel hängt vom Ausrichtungsschritt ab, den Bain et al. (2023) beschreiben, nicht von der Texterkennung selbst.

Für die Auswertung folgt daraus: Der Export mit Wort-Zeitstempeln ist die Rohdatenquelle. Aus ihr lassen sich Wörter pro Minute, Pausenverteilungen oder Überlappungen zwischen Sprechern berechnen, ohne die Aufnahme ein zweites Mal anzuhören.

Bedeutung im forensischen Kontext

Wer ein Transkript für eine Akte, ein Gutachten oder einen Vermerk verwendet, muss den Wortlaut am Originalton prüfen. Der Wort-Zeitstempel verbindet dafür jedes Wort im Text mit seiner Stelle in der Aufnahme. In memozero springt die Wiedergabe beim Anklicken eines Wortes im Editor an dessen Zeitstempel. Der Bearbeiter hört die Stelle ab und vergleicht den Wortlaut mit der Aufnahme, auch bei kurzen Einwürfen oder wenn mehrere Personen kurz hintereinander sprechen. Das gilt bei Gericht, bei der Polizei und in der Arbeit von Sachverständigen gleichermaßen. Für ein Zitat im Gutachten liefert der Zeitstempel zusätzlich die Fundstelle in der Aufnahme bis auf das einzelne Wort. Eine gesetzliche Pflicht zur Prüfung besteht für Protokolle über Vernehmungen im Ermittlungsverfahren, also durch Richter (§ 168 StPO) oder durch Staatsanwaltschaft und Polizei (§ 168b Abs. 2 StPO). Wird ein solches Protokoll aus einer Aufzeichnung erstellt, verlangt § 168a Abs. 5 StPO, dass die Person, die eine maschinelle Übertragung überprüft hat, die Richtigkeit mit ihrem Namen bestätigt. Für das Protokoll der Hauptverhandlung gilt diese Vorschrift nicht. Wie die Person die Stelle in der Aufnahme findet, schreibt das Gesetz nicht vor; der Wort-Zeitstempel ist also keine Voraussetzung, sondern eine Arbeitshilfe.

Abgrenzung

Der Segment-Zeitstempel stammt direkt aus Whisper und markiert Anfang und Ende eines ganzen Satzes oder einer Sprechpause. Der Wort-Zeitstempel setzt darauf auf und markiert jedes einzelne Wort innerhalb dieses Segments. Für ein Zitat aus einem längeren Redebeitrag reicht der Segment-Zeitstempel oft nicht, weil er nicht sagt, an welcher Stelle des Satzes das zitierte Wort fällt.

Die Sprecherdiarisierung liefert Zeitabschnitte, in denen jeweils ein bestimmter Sprecher aktiv ist, ohne selbst Wörter zu erkennen. Ein Transkript mit Sprecherzuordnung entsteht erst, wenn ein Programm die Zeitabschnitte der Sprecherdiarisierung mit den Wort-Zeitstempeln der Spracherkennung verbindet: Jedes Wort erhält den Sprecher, in dessen Zeitabschnitt sein Zeitstempel fällt.

Häufige Fragen

Wie genau ist ein Wort-Zeitstempel?

memozero speichert die Zeit in Millisekunden. Wie weit der gespeicherte Wert vom tatsächlichen Wortanfang abweicht, hängt vom Ausrichtungsmodell ab; eine eigene Messung dazu steht noch aus. Für die Auswertung von Pausen und Sprechtempo ist die Auflösung ausreichend, für das Gegenhören ohnehin.

Ändert sich der Wort-Zeitstempel, wenn ich ein Wort im Transkript korrigiere?

Die Korrektur eines einzelnen Wortes behält dessen Zeitstempel. Wird eine ganze Passage neu geschrieben, übernehmen die neuen Wörter die Zeit des letzten davor liegenden, noch aus der Erkennung stammenden Zeitstempels. Wer die Zeitstempel für eine Auswertung braucht, korrigiert deshalb Wort für Wort statt ganze Passagen neu zu schreiben.

Reicht der Wort-Zeitstempel als Nachweis, dass ein Zitat korrekt ist?

Nein. Der Zeitstempel zeigt nur, wo in der Aufnahme ein Wort liegt. Ob der erkannte Wortlaut stimmt, prüft ein Mensch durch Abhören der Stelle, so wie es § 168a Abs. 5 StPO für Vernehmungsprotokolle im Ermittlungsverfahren verlangt, die aus einer Aufzeichnung übertragen werden.

Quellen

1. Bain, M., Huh, J., Han, T., Zisserman, A. (2023): WhisperX: Time-Accurate Speech Transcription of Long-Form Audio. arXiv:2303.00747. https://arxiv.org/abs/2303.00747
2. Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., Sutskever, I. (2022): Robust Speech Recognition via Large-Scale Weak Supervision. arXiv:2212.04356. https://arxiv.org/abs/2212.04356
3. § 168 StPO. https://www.gesetze-im-internet.de/stpo/__168.html
4. § 168a Abs. 5 StPO. https://www.gesetze-im-internet.de/stpo/__168a.html
5. § 168b Abs. 2 StPO. https://www.gesetze-im-internet.de/stpo/__168b.html