近日，DeepMind的研究人員研發(fā)了一個名叫Dual Video Discriminator GAN(DVD-GAN)的人工智能模型，該模型通過能夠通過學(xué)習(xí)一系列的YouTube視頻數(shù)據(jù)集，生成高度逼真且連貫的256 x 256像素視頻，最長可達(dá)48幀。
目前，DVD-GAN的研究成果已于美國時(shí)間2019年7月15日發(fā)表在arxiv上，名為《在復(fù)雜數(shù)據(jù)集上的高效視頻生成(Efficient Video Generation on Complex Datasets)》。
AI造假視頻比造假圖片更難
最近，俄羅斯AI研究人員開發(fā)的FaceApp著實(shí)大火了一把，這款應(yīng)用通過人工智能技術(shù)能夠改變用戶自拍照的年齡、外貌、發(fā)色和性別，甚至可以生成虛構(gòu)的人物照片。這直接讓人們近距離地感受了人工智能技術(shù)給我們的生活帶來的樂趣。
但是否有人想過，有朝一日這些技術(shù)也能應(yīng)用在視頻領(lǐng)域呢?
如果說BigGAN是DeepMind在圖像領(lǐng)域開發(fā)的能夠生成高度逼真圖像的圖像生成器，那么DeepMind研究人員們開發(fā)的DVD-GAN，就是人工智能在視頻剪輯生成領(lǐng)域的最新突破。
研究人員在論文中表示，生成自然視頻對生成式建模來說是一個較大的挑戰(zhàn)，同時(shí)還會受到數(shù)據(jù)復(fù)雜性和計(jì)算需求增加的困擾。
因此，之前業(yè)界的研究人員們在研究視頻生成領(lǐng)域時(shí)，幾乎都圍繞著相對簡單的數(shù)據(jù)集，或者采用有限的時(shí)間信息來降低任務(wù)的復(fù)雜程度。
而這次，DeepMind的研究人員們主要針對視頻合成和視頻預(yù)測的任務(wù)，將生成圖像模型的強(qiáng)大功能和逼真效果擴(kuò)展到視頻領(lǐng)域。
DVD-GAN：基于BigGAN模型結(jié)構(gòu)
研究人員們基于BigGAN的模型結(jié)構(gòu)，構(gòu)建了DVD-GAN的系統(tǒng)，并引入了一系列用于視頻生成的調(diào)整，使DVD-GAN能夠在Kinetics-600上進(jìn)行訓(xùn)練。
Kinetics-600是一組由50萬段10秒高分辨率的YouTube視頻剪輯匯編而成的訓(xùn)練數(shù)據(jù)集，它最初是為識別人類動作而制作的，比目前其他常用的語料庫還大一個數(shù)量級。
同時(shí)，研究人員們表示，Kinetics-600具有多樣化特征，能消除他們對過擬合(Overfitting)的擔(dān)憂。過擬合主要是指機(jī)器學(xué)習(xí)時(shí)選擇的模型所包含的參數(shù)過多，以至出現(xiàn)這一模型對已知數(shù)據(jù)預(yù)測得很好，但對未知數(shù)據(jù)預(yù)測得很差的現(xiàn)象。
另一方面，DeepMind的研究人員們利用生成對抗以提供一個能生成動作的學(xué)習(xí)信號。
此外，DVD-GAN還有一個單獨(dú)的Transformer模塊，它可以讓學(xué)習(xí)信息在整合AI模型中傳播。
訓(xùn)練12至96小時(shí)即可生成視頻
研究論文表明，在經(jīng)過Google第三代TPU訓(xùn)練了12至96個小時(shí)后，DVD-GAN可以成功地生成視頻，這些視頻內(nèi)容包含了物體的組成和運(yùn)動，以及各種復(fù)雜的紋理。
不足的是，DVD-GAN生成的視頻內(nèi)容有時(shí)較為“詭異”，例如生成的物體和人形奇形怪狀，甚至人體忽長忽短地變化。
但研究人員指出，當(dāng)把DVD-GAN放在UCF-101(一個包含13320個人類動作視頻的較小數(shù)據(jù)集)上進(jìn)行評估后，DVD-GAN生成的樣本初始值最高為32.97。
DeepMind的研究人員們希望能進(jìn)一步強(qiáng)調(diào)在大型復(fù)雜視頻數(shù)據(jù)集上訓(xùn)練生成模型的好處，例如Kinetics-600。
“我們設(shè)想通過DVD-GAN在這個數(shù)據(jù)集上建立強(qiáng)大的基線，該基線將被用作未來建模生成領(lǐng)域的參考點(diǎn)。”研究人員表示，“盡管在不受約束的環(huán)境下持續(xù)生成逼真的視頻還需要進(jìn)行很多工作，但我們相信DVD-GAN是我們朝這個方向邁出的重要一步。”
網(wǎng)絡(luò)(GANs)來區(qū)分生成樣本和真實(shí)世界樣本，該網(wǎng)絡(luò)主要由生成器和判別器兩部分組成。
GANs曾被應(yīng)用在把文字轉(zhuǎn)換成一幕幕的場景故事，或生成人造星系圖像等任務(wù)中。而研究人員們這次使用的是名為BigGANs的生成對抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)以大批量和數(shù)百萬個參數(shù)而得名。
值得一提的是，DVD-GAN包含兩個判別器。一個是空間判別器(Spatial Discriminator：D_S)，該判別器通過隨機(jī)采樣全分辨率幀并單獨(dú)處理，以評估單個幀的內(nèi)容和結(jié)構(gòu);另一個是時(shí)間判別器(Temporal Discriminator：D_T)，它可以提供一個能生成動作的學(xué)習(xí)信號。
此外，DVD-GAN還有一個單獨(dú)的Transformer模塊，它可以讓學(xué)習(xí)信息在整合AI模型中傳播。
結(jié)語：用AI生成高度逼真視頻的一次嘗試
不管是BigGAN還是FaceApp，以往的研究人員們在人工智能生成圖像領(lǐng)域進(jìn)行了許多具有突破性的研究，但在視頻領(lǐng)域，除了AI換臉曾火了一把之外，并沒有更多的突破性進(jìn)展。
而DeepMind的研究人員們基于BigGAN架構(gòu)和Kinetics-600訓(xùn)練數(shù)據(jù)集開發(fā)的DVD-GAN，利用計(jì)算高效的判別器分解，擴(kuò)展到時(shí)間更長、分辨率更高的視頻。就目前來說，雖然這一成果還有些許不足，但這無疑是研究人員們利用AI生成高度逼真視頻的一次重要嘗試。