杜克大學(xué)的研究人員開(kāi)發(fā)了一種AI工具，可以將比以往更精細(xì)的細(xì)節(jié)轉(zhuǎn)化為令人難以置信的令人信服的計(jì)算機(jī)生成人像，從而使人臉的模糊，無(wú)法辨認(rèn)的照片變?yōu)楝F(xiàn)實(shí)。
以前的方法可以將一張臉部圖像縮放到原始分辨率的八倍。但是Duke團(tuán)隊(duì)想出了一種方法，可以拍攝少量像素并創(chuàng)建分辨率高達(dá)64倍的逼真的面部，“想象”出細(xì)膩的線條，睫毛和胡茬等功能，這是第一時(shí)間所沒(méi)有的。地點(diǎn)。
領(lǐng)導(dǎo)該團(tuán)隊(duì)的杜克大學(xué)計(jì)算機(jī)科學(xué)家辛西婭·魯丁(Cynthia Rudin)說(shuō)：“在如此高分辨率的情況下，從來(lái)沒(méi)有像現(xiàn)在這樣創(chuàng)建過(guò)超高分辨率圖像。”
研究人員說(shuō)，該系統(tǒng)不能用于識(shí)別人員：它不會(huì)將來(lái)自安全攝像機(jī)的散焦，無(wú)法識(shí)別的照片變成真實(shí)人物的水晶般清晰的圖像。相反，它能夠生成不存在但看上去真實(shí)的新面孔。
盡管研究人員將面部表情作為概念證明，但從理論上講，相同的技術(shù)可以拍攝幾乎所有物體的低分辨率照片，并創(chuàng)建清晰逼真的圖像，其應(yīng)用范圍涵蓋醫(yī)學(xué)，顯微鏡，天文學(xué)和衛(wèi)星圖像。作者Sachit Menon '20，他剛從杜克大學(xué)畢業(yè)，并獲得了數(shù)學(xué)和計(jì)算機(jī)科學(xué)雙學(xué)位。
研究人員將在6月14日至6月19日舉行的2020年計(jì)算機(jī)視覺(jué)和模式識(shí)別(CVPR)會(huì)議上介紹他們的方法，稱(chēng)為PULSE。
傳統(tǒng)方法采用低分辨率圖像，并通過(guò)嘗試使其平均與計(jì)算機(jī)之前看到的高分辨率圖像中的相應(yīng)像素相匹配，來(lái)“猜測(cè)”需要額外的像素。這種平均的結(jié)果是，頭發(fā)和皮膚中可能無(wú)法從一個(gè)像素到下一個(gè)像素完美對(duì)齊的紋理區(qū)域最終看起來(lái)模糊而模糊。
公爵隊(duì)想出了另一種方法。該系統(tǒng)不會(huì)搜索低分辨率的圖像并慢慢添加新的細(xì)節(jié)，而是搜索AI生成的高分辨率臉部示例，在縮小到相同大小時(shí)搜索看起來(lái)盡可能像輸入圖像的那些。
該團(tuán)隊(duì)在機(jī)器學(xué)習(xí)中使用了一種稱(chēng)為“ 生成對(duì)抗網(wǎng)絡(luò) ”(簡(jiǎn)稱(chēng)GAN)的工具，這是對(duì)同一張照片數(shù)據(jù)集進(jìn)行訓(xùn)練的兩個(gè)神經(jīng)網(wǎng)絡(luò)。一個(gè)網(wǎng)絡(luò)提供了AI創(chuàng)建的人臉，該人臉模擬了受過(guò)訓(xùn)練的人臉，而另一個(gè)網(wǎng)絡(luò)則獲取了該輸出，并確定它是否足以令人信服以至于被誤認(rèn)為是真實(shí)的東西。第一個(gè)網(wǎng)絡(luò)的經(jīng)驗(yàn)會(huì)越來(lái)越好，直到第二個(gè)網(wǎng)絡(luò)無(wú)法分辨出差異。
Rudin說(shuō)，PULSE可以從其他方法無(wú)法做到的嘈雜，低質(zhì)量的輸入中創(chuàng)建逼真的圖像。從一張人臉的模糊圖像中，它可以吐出任何數(shù)量的，栩栩如生的可能性，每種可能性看起來(lái)都像一個(gè)不同的人。
甚至是杜克大學(xué)數(shù)學(xué)專(zhuān)業(yè)的合著者Alex Damian '20說(shuō)，即使對(duì)于眼睛和嘴巴幾乎無(wú)法識(shí)別的像素化照片，“我們的算法仍然可以做到這一點(diǎn)，這是傳統(tǒng)方法無(wú)法做到的。”
該系統(tǒng)可以在幾秒鐘內(nèi)將一張16x16 像素的面部圖像轉(zhuǎn)換為1024 x 1024像素，增加了超過(guò)一百萬(wàn)的像素，類(lèi)似于HD分辨率。在低分辨率照片中無(wú)法察覺(jué)的細(xì)節(jié)，例如毛孔，皺紋和發(fā)束，在計(jì)算機(jī)生成的版本中變得清晰明了。
研究人員要求40個(gè)人對(duì)通過(guò)PULSE和其他五種縮放方法生成的1,440張圖像進(jìn)行1到5的評(píng)分，而PULSE的效果最佳，得分幾乎與實(shí)際人的高質(zhì)量照片一樣高。
