三星研究人員創(chuàng)建了AI該AI可以生成逼真的視頻場(chǎng)景3D渲染

2020-03-07 11:42:21    來(lái)源:    作者:

三星的三名研究人員創(chuàng)建了一種AI,該AI可以生成逼真的3D視頻場(chǎng)景渲染。

在一篇詳細(xì)介紹AI背后的神經(jīng)網(wǎng)絡(luò)的論文中,研究人員解釋了當(dāng)今創(chuàng)建虛擬場(chǎng)景的低效率過(guò)程:

創(chuàng)建真實(shí)場(chǎng)景的虛擬模型通常涉及很長(zhǎng)的操作流程。此類建模通常從掃描過(guò)程開(kāi)始,在此過(guò)程中,使用相機(jī)圖像捕獲光度特性,并使用深度掃描儀或密集立體匹配捕獲原始場(chǎng)景的幾何形狀。

三星研究人員創(chuàng)建了AI該AI可以生成逼真的視頻場(chǎng)景3D渲染

后一個(gè)過(guò)程通常會(huì)提供嘈雜且不完整的點(diǎn)云,需要通過(guò)應(yīng)用某些曲面重建和網(wǎng)格劃分方法來(lái)對(duì)其進(jìn)行進(jìn)一步處理。給定網(wǎng)格,紋理化和材料估計(jì)過(guò)程將確定表面碎片的光度特性,并將其以2D參數(shù)化貼圖的形式存儲(chǔ),例如紋理貼圖,凹凸貼圖,與視圖相關(guān)的紋理,表面光場(chǎng)。

最后,生成建模場(chǎng)景的逼真的視圖涉及繁重的計(jì)算過(guò)程,例如光線跟蹤和/或輻射傳遞估計(jì)。”

三星研究人員創(chuàng)建了AI該AI可以生成逼真的視頻場(chǎng)景3D渲染

視頻輸入被轉(zhuǎn)換為代表場(chǎng)景幾何形狀的點(diǎn)。然后使用神經(jīng)網(wǎng)絡(luò)將這些幾何點(diǎn)渲染為計(jì)算機(jī)圖形,極大地加快了渲染逼真的3D場(chǎng)景的過(guò)程。

這是AI創(chuàng)建的3D場(chǎng)景的視頻結(jié)果:

這樣的解決方案有一天可以幫助游戲開(kāi)發(fā),尤其是已經(jīng)拍攝的電影的視頻游戲。影片中的鏡頭可以為游戲開(kāi)發(fā)人員提供可復(fù)制的3D環(huán)境,以便在其中創(chuàng)建交互式體驗(yàn)?;蛘撸苍S您可??以僅使用舊視頻和VR耳機(jī)重現(xiàn)諸如婚禮之類的事件。

三星研究人員創(chuàng)建了AI該AI可以生成逼真的視頻場(chǎng)景3D渲染

在達(dá)到這一點(diǎn)之前,仍然需要進(jìn)行一些改進(jìn)。當(dāng)前場(chǎng)景無(wú)法更改,并且與原始視點(diǎn)的任何較大偏差都會(huì)導(dǎo)致偽像。盡管如此,對(duì)于在不那么遙遠(yuǎn)的將來(lái)可能發(fā)生的事情,這仍是令人著迷的早期見(jiàn)識(shí)。

鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如作者信息標(biāo)記有誤,請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除,多謝。