Google AI研究人員發(fā)布了兩個用于衡量深度學(xué)習(xí)網(wǎng)絡(luò)生成的音頻和視頻質(zhì)量的新指標(biāo)，即Fréchet音頻距離(FAD)和Fréchet視頻距離(FVD)。度量已顯示與質(zhì)量人工評估高度相關(guān)。

在最近的博客文章中，軟件工程師Kevin Kilgour和Thomas Unterthiner描述了他們的團(tuán)隊(duì)所做的工作，這些工作是建立在先前對測量神經(jīng)網(wǎng)絡(luò)生成的圖像質(zhì)量的研究的基礎(chǔ)上的。這些團(tuán)隊(duì)展示了他們的新指標(biāo)如何分別檢測添加到聲音或視頻中的噪聲，以及如何通過人工評估聲音或視頻質(zhì)量對指標(biāo)進(jìn)行跟蹤。FAD是通過對失真音頻樣本對的序列進(jìn)行排序來評估的，其選擇與人類判斷的相關(guān)性為0.39。通過對由深度學(xué)習(xí)模型生成的視頻對進(jìn)行排名，對FVD進(jìn)行了類似的評估。根據(jù)所使用的生成標(biāo)準(zhǔn)，它與人類排名一致同意在60%至80%之間。

深度學(xué)習(xí)模型的成功在一定程度上受到諸如ImageNet之類的大型高質(zhì)量數(shù)據(jù)集可用性的推動。這些數(shù)據(jù)集還提供了“基礎(chǔ)事實(shí)”，可以據(jù)此評估模型。深度學(xué)習(xí)在生成新圖像方面的最新流行應(yīng)用提出了一個新問題：如何衡量輸出的質(zhì)量?由于沒有針對這些網(wǎng)絡(luò)生成的圖像或其他數(shù)據(jù)的“地面真實(shí)性”答案，因此無法應(yīng)用諸如信噪比或均方誤差之類的通用指標(biāo)。

由于目標(biāo)是創(chuàng)建看起來或聽起來對人類真實(shí)的輸出，因此可以由人類法官對數(shù)據(jù)進(jìn)行評分，但是這既不是可擴(kuò)展的，也不是客觀的。GAN的發(fā)明者提出的初始指標(biāo)是初始得分 (IS)。通過將預(yù)訓(xùn)練的Inception圖像分類器應(yīng)用于圖像并計(jì)算結(jié)果統(tǒng)計(jì)信息來計(jì)算此指標(biāo)。該度量標(biāo)準(zhǔn)“與用于訓(xùn)練生成模型的目標(biāo)密切相關(guān)”，并且已證明與人類對質(zhì)量的判斷高度相關(guān)。

但是，初始得分指標(biāo)確實(shí)存在一些不足;特別是，它對所使用的基礎(chǔ)Inception模型的更改很敏感。Unterthiner和其他人在奧地利約翰內(nèi)斯·開普勒大學(xué)的LIT AI實(shí)驗(yàn)室開發(fā)了Fréchet起始距離(FID)。FID使用Inception模型的隱藏層來計(jì)算輸入圖像的嵌入，而不是使用Inception模型的分類輸出。為一組生成的圖像和一組真實(shí)世界(或基線)圖像計(jì)算嵌入。將所得數(shù)據(jù)集視為由多元高斯分布生成的數(shù)據(jù)，并使用弗雷謝特距離比較這兩個分布。與IS相比，F(xiàn)ID相對于IS的一個優(yōu)勢是，隨著將噪聲添加到圖像上，F(xiàn)ID會增加，而IS可能保持平坦甚至降低。

Google的新指標(biāo)擴(kuò)展了這種思想，即為生成的數(shù)據(jù)計(jì)算嵌入并將統(tǒng)計(jì)數(shù)據(jù)與基準(zhǔn)數(shù)據(jù)進(jìn)行比較。對于FAD，團(tuán)隊(duì)使用 VGGish來計(jì)算嵌入，而對于FVD，則使用 Inflated 3D Convnet。為了驗(yàn)證度量標(biāo)準(zhǔn)的有效性，研究人員計(jì)算了通過向基線添加噪聲而創(chuàng)建的數(shù)據(jù)集的度量標(biāo)準(zhǔn)值。期望隨著噪聲的增加，分?jǐn)?shù)會增加，這的確發(fā)生了。該團(tuán)隊(duì)還將他們的度量結(jié)果與人類評估進(jìn)行了比較，發(fā)現(xiàn)了他們的度量與人類判斷之間的相關(guān)性，并且他們的新度量與人類法官的共識比其他常用度量更為一致。