谷歌今天詳細(xì)介紹了一個(gè)名為WaveNetEQ的AI系統(tǒng)，該系統(tǒng)最近已部署到該公司的跨平臺(tái)語(yǔ)音和視頻聊天應(yīng)用Duo中。

二重奏組可以現(xiàn)實(shí)地合成簡(jiǎn)短的語(yǔ)音片段，以替代因互聯(lián)網(wǎng)連接不穩(wěn)定而導(dǎo)致的亂碼。它的速度足夠快，可以在智能手機(jī)上運(yùn)行，??同時(shí)提供最先進(jìn)的，聽(tīng)起來(lái)自然的音頻質(zhì)量，為將來(lái)針對(duì)帶寬受限的環(huán)境進(jìn)行了優(yōu)化的聊天應(yīng)用程序奠定了基礎(chǔ)。

正如Google解釋的那樣，為了確?？煽康膶?shí)時(shí)通信，有必要處理接收方需要時(shí)丟失的數(shù)據(jù)包(即，格式化的數(shù)據(jù)單元)。(該公司表示，由于網(wǎng)絡(luò)問(wèn)題，有99%的Duo呼叫需要處理網(wǎng)絡(luò)問(wèn)題，而有10%的呼叫損失的音頻持續(xù)時(shí)間超過(guò)總音頻持續(xù)時(shí)間的8%。)

如果不連續(xù)傳送新音頻，則會(huì)出現(xiàn)可聽(tīng)到的小故障和縫隙。會(huì)發(fā)生，但是重復(fù)相同的音頻并不理想，因?yàn)樗鼤?huì)產(chǎn)生偽像并降低總體通話質(zhì)量。

Google的解決方案WaveNetEQ是所謂的丟包遏制模塊，該模塊負(fù)責(zé)創(chuàng)建數(shù)據(jù)以填補(bǔ)由丟包，過(guò)度抖動(dòng)和其他事故造成的空白。

在結(jié)構(gòu)上，WaveNetEQ是DeepMind的WaveRNN的修改版本，WaveRNN是一種用于語(yǔ)音合成的機(jī)器學(xué)習(xí)模型，由自回歸和條件調(diào)節(jié)網(wǎng)絡(luò)組成。

自回歸網(wǎng)絡(luò)通過(guò)使每個(gè)生成的樣本取決于網(wǎng)絡(luò)的先前輸出來(lái)提供短期和中期語(yǔ)音結(jié)構(gòu)，而調(diào)節(jié)網(wǎng)絡(luò)會(huì)影響自回歸網(wǎng)絡(luò)以產(chǎn)生與移動(dòng)速度較慢的輸入特征一致的音頻。