NVIDIA Maxine旨在解決互聯(lián)網(wǎng)上最主要的流量,視頻流內(nèi)容,它可能只是視頻會議平臺所需的。
NVIDIA Maxine是一個(gè)云原生流視頻AI平臺,服務(wù)提供商可以將其支持AI的新功能帶入預(yù)計(jì)每天舉行的超過3000萬次Web會議中。
在云端的NVIDIA GPU上運(yùn)行平臺的視頻會議服務(wù)提供商可以為用戶提供新的AI效果-包括面部對齊(您似乎面對著相機(jī)),凝視校正(即使您的相機(jī)未對齊也可以模擬眼神接觸)到屏幕),超分辨率,降噪,面部重新照明等等。
其他可能性包括具有逼真的動畫的動畫化身實(shí)時(shí)地由您的聲音和情感語調(diào)驅(qū)動,以及自動取景,即使有人離開屏幕,視頻輸入也可以跟隨揚(yáng)聲器。
數(shù)據(jù)是在云中而不是在本地系統(tǒng)上處理的,因此可以享受所有新添加的功能,而對客戶端系統(tǒng)沒有任何新要求。
除了最重要的新功能外,NVIDIA Maxine還承諾通過使用AI分析通話中每個(gè)人的主要面部表情并在另一端為觀看者重新制作視頻動畫,來節(jié)省大量帶寬。與每個(gè)幀傳輸整個(gè)像素屏幕相比,這使視頻會議可以在互聯(lián)網(wǎng)上傳輸更少的數(shù)據(jù)。
結(jié)合在NVIDIA GPU上運(yùn)行的新視頻壓縮算法,帶寬消耗減少到了通常的H.264流視頻壓縮標(biāo)準(zhǔn)的十分之一。這最終意味著服務(wù)提供商的成本將大大降低,接收端的視頻會議體驗(yàn)將更加流暢。
Maxine平臺集成了多個(gè)NVIDIA AI SDK和API的技術(shù)。除了NVIDIA Jarvis,Maxine平臺還利用NVIDIA DeepStream高通量音頻和視頻流SDK和NVIDIA TensorRT SDK進(jìn)行高性能的深度學(xué)習(xí)推理。Maxine平臺的AI音頻,視頻和自然語言功能是通過在NVIDIA DGX系統(tǒng)上進(jìn)行數(shù)十萬次培訓(xùn)而開發(fā)的。
NVIDIA Maxine平臺現(xiàn)在可用于早期訪問計(jì)算機(jī)視覺AI開發(fā)人員,軟件合作伙伴,初創(chuàng)公司和創(chuàng)建音頻和視頻應(yīng)用程序及服務(wù)的計(jì)算機(jī)制造商。目前,獲得認(rèn)可的云服務(wù)是Google Cloud,Amazon AWS,騰訊云,Oracle和Microsoft Azure。
同樣在協(xié)作主題上,對于3D設(shè)計(jì)內(nèi)容協(xié)作者和數(shù)字藝術(shù)家來說,我們?nèi)ツ陥?bào)道的NVIDIA的Omniverse現(xiàn)在可以在公開Beta中使用。