Nemotron 3.5 Transcribe verarbeitet Kontext vorab
Nvidia hat mit Nemotron 3.5 Transcribe ein mehrsprachiges Open-Weight-Modell für die Verarbeitung aufgezeichneter Audiodateien veröffentlicht. Anders als klassische Spracherkennung nimmt das Modell vor der Transkription zusätzliche Anweisungen entgegen.
So lässt sich etwa festlegen, dass eine Aufnahme ein medizinisches Fachgespräch enthält. Fachbegriffe, gewünschte Zahlenformate und Regeln für die Ausgabe können direkt im Prompt stehen. Das Modell erstellt wahlweise ein wörtliches oder sprachlich bereinigtes Transkript und kann außerdem Fragen zum Inhalt beantworten.
Der entscheidende Unterschied zu einfachen Speech-to-Text-Systemen liegt in der Kombination aus Kontext, Transkription, Übersetzung und Sprecherzuordnung innerhalb eines einzigen Modellstands.
30 Milliarden Parameter, davon 4 Milliarden aktiv
Nemotron 3.5 Transcribe basiert auf einer Mixture-of-Experts-Architektur. Dabei wird für eine einzelne Anfrage nur ein Teil des gesamten Modells aktiviert. Von insgesamt 30 Milliarden Parametern arbeiten jeweils rund 4 Milliarden an der Verarbeitung.
Auf dem Open ASR Leaderboard von Hugging Face erreicht das Modell für Englisch eine durchschnittliche Wortfehlerrate von 5,33 %. Die Wortfehlerrate, kurz WER, misst den Anteil falsch erkannter, ausgelassener oder zusätzlich eingefügter Wörter.
| Kennzahl | Nemotron 3.5 Transcribe |
|---|---|
| Gesamtparameter | 30 Milliarden |
| Aktive Parameter | 4 Milliarden |
| Wortfehlerrate, Open ASR Leaderboard | 5,33 % für Englisch |
| Wortfehlerrate, Artificial Analysis | 2,81 % |
| Maximale Aufnahmelänge | 1 Stunde |
Im Benchmark von Artificial Analysis liegt Nemotron mit 2,81 % knapp hinter Voxtral Small mit 2,77 %. Voxtral Small aktiviert dabei 24 Milliarden Parameter, Nemotron rund 4 Milliarden. Daraus lässt sich jedoch kein unmittelbarer Vergleich von Geschwindigkeit oder Speicherbedarf ableiten.
Transkription und Übersetzung in einem Modell
Das Modell transkribiert 40 Sprachen. Für 31 Sprachen unterstützt es Übersetzungen aus dem Englischen oder ins Englische. Die Sprecherzuordnung arbeitet in 13 Sprachen und kann bis zu acht unterschiedliche Stimmen erkennen.
| Funktion | Umfang |
|---|---|
| Transkription | 40 Sprachen |
| Übersetzung | 31 Sprachen, jeweils mit Englisch als Ausgangs- oder Zielsprache |
| Sprecherzuordnung | 13 Sprachen, bis zu 8 Stimmen |
| Fragen zum Audio | Auf Englisch trainiert |
| Live-Streaming | Nicht unterstützt |
Welche 13 Sprachen die Sprecherzuordnung genau abdeckt, ist bislang nicht ausgewiesen. Damit bleibt auch offen, ob diese Funktion für deutsche Aufnahmen verfügbar ist. Für eine produktive Einführung im DACH-Raum muss das vorab praktisch geprüft werden.
Lokaler Betrieb auf einer einzelnen GPU
Nemotron 3.5 Transcribe kann mit NeMo-Speech.cpp lokal oder über vLLM als eigener Serverdienst betrieben werden. Laut Nvidia genügt eine einzelne GPU. Als unterstützte Plattformen nennt das Unternehmen unter anderem Jetson AGX Thor, DGX Spark und Blackwell-GPUs für Rechenzentren.
Konkrete Mindestanforderungen an Grafikspeicher und Systemausstattung nennt Nvidia für kleinere Installationen nicht. Die Aussage zum Betrieb auf einer GPU ersetzt daher keine Kapazitätsplanung. Besonders bei langen Aufnahmen und parallelen Anfragen sind eigene Lasttests erforderlich.
Der Ansatz ergänzt Nvidias Strategie rund um lokal betriebene Nemotron-Modelle. Er steht zugleich für den breiteren Trend zu Open-Weight-KI im Unternehmenseinsatz, bei der Modellgewichte in der eigenen Infrastruktur betrieben werden können.
Feintuning senkt Fehlerquote bei Fachsprache
Über die Werkzeuge von NeMo Speech lässt sich das Modell mit eigenen Daten anpassen. In einer medizinischen Fallstudie sank die Wortfehlerrate laut Nvidia von 22,44 % auf 12,17 %. Das entspricht einer relativen Reduktion von 45,8 %.
Der vollständige Anpassungslauf benötigte rund 14 GPU-Stunden auf einer einzelnen GB300-GPU. Zusätzlich stellt Nvidia mit Granary v2 eine Pipeline zur Datenaufbereitung bereit. Die veröffentlichten Datensatz-Manifeste umfassen rund 463.062 Stunden Audiomaterial aus 48 Sprachen und 16 Quellkorpora.
Interessant für vertrauliche Audiodaten
Für Unternehmen im DACH-Raum liegt der praktische Nutzen vor allem im lokalen Betrieb. Vorstandssitzungen, Mandantengespräche oder medizinische Diktate müssen nicht an eine externe Transkriptions-API übertragen werden. Das erleichtert datensparsame Architekturen und reduziert die Abhängigkeit von einzelnen Cloud-Anbietern.
Eine DSGVO-konforme Verarbeitung entsteht dadurch allerdings nicht automatisch. Rechtsgrundlage, Zugriffsrechte, Löschkonzept und Protokollierung bleiben weiterhin erforderlich. Zudem sollten Unternehmen die OpenMDW-1.1-Lizenz vor einem kommerziellen Einsatz prüfen, da die konkreten Bedingungen nicht näher ausgewiesen sind.
Wirtschaftlich kann Self-Hosting verbrauchsabhängige API-Gebühren reduzieren oder vermeiden. Dem stehen Kosten für GPU-Hardware, Betrieb, Überwachung und Feintuning gegenüber. Ob sich die eigene Lösung rechnet, hängt deshalb weniger vom Modellpreis als von Audiovolumen, Schutzbedarf und vorhandener Infrastruktur ab.