英偉達通過Whisper和Canary模型擴展Riva ASR功能

麗貝卡·摩恩

2025年2月21日10:54

英偉達利用Whisper和Canary模型增強其Riva ASR，集成離線和自動語音翻譯的先進功能，實現多語言能力的提升。

NVIDIA通過引入Riva 2.18.0容器和SDK，顯著推進了其自動語音識別(ASR)系統的增強功能。這些發展是NVIDIA持續努力改進其基於GPU加速的語音和翻譯人工智能微服務的一部分，詳情請參閱NVIDIA開發者博客中Sven Chilton的介紹。

新模型的整合

Riva的最新版本包括對Parakeet架構的支持，該架構促進了流式多語言ASR，以及Whisper和Canary模型，用於離線ASR和自動語音翻譯(AST)。Whisper由OpenAI開發，而HuggingFace的Distil-Whisper模型現已成為Riva離線ASR功能的一部分，允許直接將多種語言的音頻錄音轉錄和翻譯為英文。

Canary模型通過支持離線自動語音識別（ASR）和自動語音翻譯（AST）進一步擴展了Riva的功能，涵蓋了多種語言組合，包括任意語言到英語，英語到任意語言，以及任意語言到任意語言的翻譯。這些模型滿足了多樣化的語言需求，為語言檢測和翻譯任務提供了強大的支持。

選擇性NMT停用

此更新引入的一個顯著特點是通過SSML標記選擇性地停用神經機器翻譯(NMT)過程的部分能力。此功能允許用戶指定不應翻譯的文本段，從而更好地控制翻譯輸出。此外，新的DNT字典使得可以指定某些單詞或短語的翻譯方式，增強了翻譯過程的定製化。

部署和使用

通過Riva Skills快速入門資源文件夾，可以簡化部署這些新功能，其中包括設置具有Whisper和Canary功能的Riva服務器所需的腳本和配置文件。用戶可以根據其特定的ASR需求選擇Whisper和Canary模型，並利用提供的腳本根據其GPU架構優化模型部署。

英偉達致力於擴大其ASR系統的語言和功能範圍，這一點在集成這些先進模型和功能中得以體現。通過支持更廣泛的語言範圍並提供增強的翻譯控制，Riva在語音識別和翻譯技術方面繼續樹立行業標準。

有關英偉達最新的 ASR 進展的更多信息，請訪問英偉達開發者博客。

圖片來源：Shutterstock