一個(gè)由Facebook研究人員組成的團(tuán)隊(duì)創(chuàng)建了一個(gè)端到端系統(tǒng)，該系統(tǒng)可以幫助用戶在幾秒鐘內(nèi)將其在智能手機(jī)上拍攝的照片轉(zhuǎn)換成3D圖像。

新框架為用戶提供了一種更實(shí)用的3D攝影方法，可以解決多個(gè)設(shè)計(jì)目標(biāo)。用戶可以通過自己的移動(dòng)設(shè)備訪問該新技術(shù)，并且可以無縫地將2D輸入圖像實(shí)時(shí)轉(zhuǎn)換為3D，不需要任何高級(jí)攝影技能。

處理僅需幾秒鐘，并且該方法足夠強(qiáng)大，幾乎可以處理任何照片-新照片或以前拍攝??的照片。

在上個(gè)世紀(jì)，攝影經(jīng)歷了幾次技術(shù)“升級(jí)”，提高了沉浸感。“最初，所有照片都是黑白和顆粒狀的，然后是彩色攝影，然后數(shù)字?jǐn)z影為我們帶來了更高質(zhì)量和更高分辨率的圖像，” Facebook的工作和研究科學(xué)家約翰內(nèi)斯·科普夫(Johannes Kopf)說。

“最后，這些天我們有了3D攝影，這使照片感覺更加生動(dòng)逼真”。自2018年底以來，2D到3D照片技術(shù)已在Facebook上作為“照片功能”提供。

為了利用此功能，最初要求Facebook用戶使用配備雙鏡頭相機(jī)的手機(jī)拍攝照片?，F(xiàn)在，F(xiàn)acebook團(tuán)隊(duì)添加了一種算法，該算法可以根據(jù)2D輸入圖像自動(dòng)進(jìn)行深度估計(jì)，并且該技術(shù)可以直接在任何移動(dòng)設(shè)備上使用。

為了完善新系統(tǒng)，研究人員在數(shù)百萬對(duì)公共3D圖像及其隨附的深度圖上訓(xùn)練了卷積神經(jīng)網(wǎng)絡(luò)(CNN)，并利用了Facebook AI開發(fā)的移動(dòng)優(yōu)化技術(shù)。

該框架還結(jié)合了2D輸入圖像的紋理修補(bǔ)和幾何捕獲，以將其轉(zhuǎn)換為3D，從而使圖像更加活躍和生動(dòng)。

直接從用戶移動(dòng)設(shè)備轉(zhuǎn)換用戶2D照片的每個(gè)自動(dòng)化步驟都經(jīng)過優(yōu)化，可以在各種品牌和型號(hào)上運(yùn)行，并且能夠與設(shè)備有限的內(nèi)存和數(shù)據(jù)傳輸功能一起使用。該團(tuán)隊(duì)說：“用戶立即得到滿足，因?yàn)?D結(jié)果實(shí)際上是在幾秒鐘內(nèi)產(chǎn)生的。”

Facebook的研究人員一直在嘗試創(chuàng)新的方式來創(chuàng)建高質(zhì)量的，身臨其境的3D體驗(yàn)，從而推動(dòng)了計(jì)算機(jī)視覺，圖形和機(jī)器學(xué)習(xí)的發(fā)展。在未來的工作中，該團(tuán)隊(duì)正在研究機(jī)器學(xué)習(xí)方法，這些方法可以對(duì)使用移動(dòng)設(shè)備拍攝的視頻進(jìn)行高質(zhì)量的深度估計(jì)。

Facebook研究人員將在8月的SIGGRAPH 2020會(huì)議上展示其系統(tǒng)。