Microsoft Teams借助AI生成的實時字幕和轉(zhuǎn)錄功能，幫助全球?qū)W生和職場人士順利進行在線會議。用于訓練的NVIDIA AI計算技術(shù)和用于推理語音識別模型的NVIDIA Triton推理服務器進一步提升了這兩個功能。

    Microsoft Teams 是全球溝通和協(xié)作的重要工具，每月有近2.5億活躍用戶。Microsoft Azure 認知服務為Teams提供28種語言的字幕和轉(zhuǎn)錄，并將很快能夠在NVIDIA GPU上運行關(guān)鍵的計算密集型神經(jīng)網(wǎng)絡推理。

    實時字幕功能幫助與會者實時跟蹤對話，轉(zhuǎn)錄功能方便與會者在日后回顧當時的創(chuàng)意或回看未能參與的會議。

    實時字幕對聾啞人、聽力障礙者，或者異國與會者特別有用。

    NVIDIA Triton開源推理服務軟件能夠幫助Teams使用認知服務優(yōu)化語音識別模型。

    使用Triton，認知服務能夠支持高度先進的語言模型，以極低的延遲實時提供高度準確、個性化的語音轉(zhuǎn)文本結(jié)果。同時，可以保證運行這些語音轉(zhuǎn)文本模型的NVIDIA GPU充分發(fā)揮其潛力，在消耗更少計算資源的同時，為客戶提供更高的吞吐量，進而降低成本。

    底層語音識別技術(shù)作為認知服務中的一個API，開發(fā)人員可以使用它定制和運行自己的應用程序——客服電話轉(zhuǎn)錄、智能家居控制或為急救人員提供AI助手。

    字字達意的AI

    認知服務會生成Teams的轉(zhuǎn)錄和字幕，將語音轉(zhuǎn)換為文本，并識別說話人。同時也能夠識別專業(yè)術(shù)語 、姓名和其他會議背景，提高字幕的準確性。

    Microsoft Teams的通話、會議及設備首席項目經(jīng)理Shalendra Chhabra表示：“這樣的AI模型非常復雜，需要數(shù)千萬個神經(jīng)網(wǎng)絡參數(shù)才能識別幾十種不同的語言。但模型越大，就越難以經(jīng)濟高效地實時運行。”

    NVIDIA GPU和Triton軟件能夠幫助微軟在不犧牲低延遲的情況下，通過強大的神經(jīng)網(wǎng)絡，實現(xiàn)高準確性，確保語音-文本的實時轉(zhuǎn)換。

    當啟用轉(zhuǎn)錄功能時，與會者可以在會議結(jié)束后輕松補上錯過的內(nèi)容。

    Triton三大功能推動效率提升

    NVIDIA Triton有助于簡化AI模型部署，并解鎖高性能推理。用戶甚至可以為自己的應用開發(fā)自定義后端。軟件的一些關(guān)鍵功能可將Microsoft Teams的字幕和轉(zhuǎn)錄功能擴展到更多會議和用戶，包括：

    流推理：新型流推理功能——通過跟蹤語音上下語境，提高延遲、敏感性字幕的準確度，它助力NVIDIA和Azure認知服務合作定制語音轉(zhuǎn)文本的應用程序。

    動態(tài)合批：批大小指神經(jīng)網(wǎng)絡同時處理的輸入樣本數(shù)量。通過Triton的動態(tài)合批，單項推理請求被自動組合成一個批次，因此能夠在不影響模型延遲的情況下更好地利用GPU資源。

    并發(fā)模型執(zhí)行：實時字幕和轉(zhuǎn)錄需要同時運行多個深度學習模型。Triton使開發(fā)人員能夠在單個GPU上同時完成這些工作，包括使用不同深度學習框架的模型。

    即刻啟程，借助Azure 認知服務，在您的應用中使用語音轉(zhuǎn)文本的功能，并進一步了解NVIDIA Triton 推理服務軟件如何幫助團隊大規(guī)模部署AI模型。