NVIDIAは、音声文字起こし用の大規模モデル「Nemotron 3.5 Transcribe」をオープンソースで公開しました。40言語の文字起こしに対応し、最大8人が同時に話す場面でも話者を識別できるのが特徴です。会議の議事録作成やインタビュー番組の文字起こしなど、実務での利用を想定しています。
ポイント
- 総パラメータ数は約340億、推論時に有効になるのは43億
- 1回で最大1時間の連続録音を処理できる
- 40言語の文字起こしと、うち31言語と英語の双方向翻訳に対応
- 最大8人の話者を同時に区別し、発話の帰属を判定
- 英語の音声認識ベンチマーク「Open ASR」で平均単語誤り率5.33%
アーキテクチャと処理能力
Nemotron 3.5 Transcribeは、複数の専門家モデルを組み合わせるMoE（Mixture of Experts）アーキテクチャを採用しています。総パラメータ数は約340億で、各推論で実際に使われるのは43億です。計算効率を保ちながら高い推論能力を確保する設計です。
音声処理では、1回で最大1時間の連続録音ファイルを扱えます。長時間の音声や会議の議事録、インタビュー番組の文字起こしに対応します。
多言語対応と話者分離
対応言語は40種類で、そのうち31言語と英語の間の双方向翻訳もできます。国際的なコミュニケーションや多言語コンテンツの処理に幅広く使えるとしています。
音声認識で課題とされてきた複数人の会話にも対応します。最大8人の話者を同時に区別し、リアルタイムでどの発話が誰のものかを判定できます。
ベンチマーク結果
英語の音声認識評価「Open ASR」では、平均単語誤り率（WER、認識結果が正解とどれだけ異なるかを示す指標）が5.33%でした。同種のオープンウェイトモデルの中で首位だとしています。
非ストリーミング方式のテスト「Artificial Analysis」では、単語誤り率が2.8%まで下がり、オープンソースのランキングで1位に並びました。
NVIDIAは今回のモデルについて、大規模なパラメータと話者分離能力、多言語性能により、開発者や音声技術の分野に新たな基盤を提供するものだと位置づけています。
