Granite Speech 5.0: Lokale Transkription richtig pilotieren

IBM erweitert Granite Speech 5.0 um zwei kompakte Modelle für englische Spracherkennung. Beide haben 470 Millionen Parameter und setzen auf eine Encoder-only-Architektur. Der Hersteller meldet für gebündelte Inferenz auf einer NVIDIA H200 mehr als 12.600-fache Echtzeit und auf öffentlichen englischen Kurzform-Testsets eine aggregierte Wortfehlerrate von rund fünf Prozent. Für Unternehmen klingt das nach einer attraktiven Grundlage für lokale oder Edge-nahe Transkription. Die richtige Entscheidung lautet trotzdem nicht „schnellstes Modell gewinnt“, sondern: Passt eine der beiden Varianten rechtlich, fachlich und betrieblich zum konkreten Audioprozess?

Was IBM tatsächlich veröffentlicht hat

Bestätigt sind zwei englische CTC-Modelle: granite-speech-5.0-470m-turboctc und granite-speech-5.0-470m-turboctc-nc. Die Apache-2.0-Variante wurde laut IBM mit einem kleineren Datensatz trainiert. Die NC-Variante nutzt zusätzliche Trainingsdaten und steht unter CC BY-NC-SA 4.0. Auf den von IBM ausgewiesenen öffentlichen OpenASR-Kurzform-Testsets erreicht das NC-Modell 4,85 Prozent aggregierte WER, die Apache-Variante 5,00 Prozent. Beide Modelle überschreiten im genannten H200-Batchtest 12.600 RTFx.

• Bestätigt: 470 Millionen Parameter, englische Spracherkennung und Encoder-only-Architektur.
• Bestätigt: Die Apache-2.0-Variante ist für kommerzielle Prüfungen grundsätzlich leichter einzuordnen als die nichtkommerzielle NC-Lizenz.
• Bestätigt: Gegenüber früheren Granite-Speech-Modellen nennt IBM mehr als 20-fachen Durchsatz.
• Bestätigt: Die neue Architektur verzichtet auf Fähigkeiten wie Sprachübersetzung und Keyword Biasing.
• Nicht belegt: gleichwertige Resultate für Deutsch, eigene Dialekte, Raumakustik, Telefonkanäle oder vorhandene CPU- und GPU-Systeme.

Daraus lässt sich nachvollziehbar ableiten, dass Granite Speech 5.0 vor allem dort interessant ist, wo große Mengen englischer Audiodaten schnell in Text überführt werden sollen und Daten möglichst in der eigenen Betriebsumgebung bleiben sollen. Ob dadurch Kosten oder Latenzen tatsächlich sinken, ist hingegen eine Hypothese für den Pilot. Hardwareauslastung, Wartung, Monitoring, Ausfallkonzept und menschliche Nachprüfung gehören in die Gesamtrechnung.

Die Lizenzwahl ist eine Geschäftsentscheidung

Der kleine Abstand der veröffentlichten aggregierten WER-Werte darf die Lizenzfrage nicht überdecken. Die NC-Variante ist ausdrücklich nichtkommerziell lizenziert. Ein Unternehmen sollte sie daher nicht allein wegen des etwas besseren Gesamtwerts in einen produktiven Geschäftsprozess übernehmen. Vor jedem Einsatz müssen Rechts- und Einkaufsverantwortliche den konkreten Zweck, die Verteilung des Modells, mögliche Anpassungen und Pflichten der Lizenz prüfen. Die Apache-2.0-Variante bietet einen offeneren Ausgangspunkt, ersetzt aber ebenfalls keine Prüfung von Trainingsdaten, Datenschutz, Drittkomponenten und internen Richtlinien.

• Apache-2.0-Modell: erste Wahl für einen kommerziell gedachten Pilot, sofern die interne Lizenzprüfung zustimmt.
• NC-Modell: allenfalls als getrennte Vergleichsreferenz nutzen, bis der geplante Einsatz rechtlich eindeutig freigegeben ist.
• Kein Modell: wenn der Prozess Übersetzung, gezielte Fachwortbevorzugung oder nachgewiesene Mehrsprachigkeit zwingend verlangt.

Warum der Rekorddurchsatz nicht die wichtigste Kennzahl ist

Batchdurchsatz und Live-Latenz beantworten verschiedene Fragen. Ein Archiv mit vielen unabhängigen Dateien kann von großen Batches profitieren. Bei einem Live-Call zählt dagegen, wie schnell ein einzelner Audiostrom unter realer Last verwertbare Teilergebnisse liefert. Ebenso ist WER nur ein Ausgangspunkt: Ein falsch erkannter Artikel wiegt weniger schwer als ein falscher Betrag, Personenname, Produktcode oder eine verneinte Aussage.

Für die Wirtschaftlichkeit sollte deshalb die Zeit bis zum freigegebenen Transkript gemessen werden. Dazu zählen Vorverarbeitung, Inferenz, Korrektur, Qualitätskontrolle und Übergabe an Folgesysteme. Ein sehr schnelles Rohtranskript kann unattraktiv sein, wenn Mitarbeitende kritische Felder häufig korrigieren müssen. Umgekehrt kann ein geringfügig schwächerer Gesamtwert genügen, wenn der definierte Prozess nur robuste, unkritische Textsuche benötigt.

Ein belastbarer Pilot in sechs Schritten

1. Prozess festlegen: genau einen englischen Anwendungsfall wählen, etwa Batch-Transkription freigegebener Supportaufnahmen oder Medienarchive.
2. Referenzkorpus bilden: repräsentative Audioausschnitte mit Akzenten, Störgeräuschen, Fachbegriffen, Zahlen und den tatsächlich genutzten Kanälen auswählen und manuell geprüfte Solltexte erstellen.
3. Varianten trennen: die Apache-Version als kommerziellen Kandidaten behandeln; die NC-Version nur unter dokumentierter Lizenzfreigabe vergleichen.
4. Betriebsumgebung testen: Zielhardware, Einzelstream und Batch, Spitzenlast, Speicherbedarf, Startzeit sowie Fehlerverhalten messen – nicht nur eine H200-Zahl übernehmen.
5. Qualität nach Risiko bewerten: neben Gesamt-WER separate Fehlerraten für Namen, Beträge, Negationen, Produktcodes und andere geschäftskritische Felder erfassen.
6. Go/No-Go entscheiden: Datenschutz, Zugriffskontrolle, Protokollierung, menschliche Freigabe, Rückfallprozess und Gesamtaufwand gemeinsam bewerten.

Vor dem Start sollten Schwellenwerte feststehen. Sinnvolle Kriterien sind maximale Zeit bis zum freigegebenen Transkript, tolerierbare Fehler je kritischem Feld, Kosten pro Audiostunde auf der Zielhardware und der Anteil der Aufnahmen, die eine manuelle Vollprüfung brauchen. Die konkreten Grenzwerte hängen vom Prozessrisiko ab; sie dürfen nicht nachträglich so verschoben werden, dass ein gewünschtes Ergebnis entsteht.

Wann Granite Speech 5.0 gut passt – und wann nicht

Ein Pilot ist plausibel, wenn englische Speech-to-Text-Verarbeitung im Mittelpunkt steht, lokale Kontrolle wichtig ist und das Team Modellbetrieb übernehmen kann. Besonders interessant kann die Architektur für hohe Batchvolumen oder Edge-nahe Szenarien mit begrenztem Modellspeicher sein. Das ist eine betriebliche Ableitung aus Größe und Architektur, keine Garantie für jedes Gerät.

Zurückhaltung ist angebracht, wenn überwiegend deutsche oder gemischtsprachige Gespräche anfallen, Übersetzung und Keyword Biasing benötigt werden oder die Organisation keine Kapazität für Updates, Telemetrie und Qualitätsüberwachung hat. Dann kann ein verwalteter Dienst oder ein anderes Modell trotz höherer Stückkosten die geringere Gesamtrisiko-Option sein. Granite Speech 5.0 ist damit kein pauschaler Ersatz für bestehende Transkriptionsdienste, sondern ein konkreter Kandidat für klar abgegrenzte englische Workloads.

Fazit: Erst Lizenz und Prozess, dann Modelltempo

IBM liefert mit Granite Speech 5.0 einen bemerkenswert kompakten und laut offiziellen Messungen sehr schnellen Ansatz für englische Spracherkennung. Für DACH-Unternehmen entsteht der Wert jedoch erst durch einen kontrollierten Vergleich auf eigenem Audio und eigener Hardware. Wer Lizenz, kritische Erkennungsfelder, Gesamtprozesskosten und Rückfallwege vorab definiert, kann den technischen Rekord in eine belastbare Entscheidung übersetzen – oder früh erkennen, dass ein anderer Ansatz besser passt.