許多虛擬世界的設(shè)計(jì)師發(fā)現(xiàn)，要有效地設(shè)計(jì)出令人信服的復(fù)雜紋理或圖案，是一項(xiàng)挑戰(zhàn)。確實(shí)，所謂的“紋理合成”是準(zhǔn)確的紋理設(shè)計(jì)，例如河流中的水波紋，混凝土墻或樹(shù)葉圖案，對(duì)于藝術(shù)家來(lái)說(shuō)仍然是一項(xiàng)艱巨的任務(wù)。可以在游戲或虛擬世界中重新創(chuàng)建“現(xiàn)實(shí)世界”中的大量非平穩(wěn)紋理，但是現(xiàn)有技術(shù)繁瑣且耗時(shí)。
為了應(yīng)對(duì)這一挑戰(zhàn)，全球計(jì)算機(jī)科學(xué)家團(tuán)隊(duì)開(kāi)發(fā)了一種獨(dú)特的基于人工智能的技術(shù)，該技術(shù)可以訓(xùn)練網(wǎng)絡(luò)以學(xué)習(xí)將小紋理擴(kuò)展為大紋理。研究人員的數(shù)據(jù)驅(qū)動(dòng)方法利用稱(chēng)為生成對(duì)抗網(wǎng)絡(luò)(GAN)的AI技術(shù)來(lái)訓(xùn)練計(jì)算機(jī)，以將紋理從樣本補(bǔ)丁擴(kuò)展到與原始樣本最相似的更大實(shí)例。
該論文的主要作者，深圳大學(xué)和華中科技大學(xué)的助理教授楊周表示：“我們的方法成功地處理了非平穩(wěn)紋理，而沒(méi)有對(duì)高層結(jié)構(gòu)進(jìn)行任何高級(jí)或語(yǔ)義描述。” “它可以應(yīng)付非常具有挑戰(zhàn)性的紋理，據(jù)我們所知，其他任何現(xiàn)有方法都無(wú)法處理。結(jié)果是可以高分辨率，高效且大規(guī)模生產(chǎn)的逼真的設(shè)計(jì)。”
基于示例的紋理合成的基本目標(biāo)是生成通常尺寸大于輸入大小的紋理，該紋理可以緊密捕獲樣本輸入的視覺(jué)特征(但并不完全相同)并保持逼真的外觀。非平穩(wěn)紋理的示例包括具有大規(guī)模不規(guī)則結(jié)構(gòu)的紋理，或在某些屬性(例如顏色，局部方向和局部比例)上表現(xiàn)出空間差異的紋理。在論文中，研究人員在孔雀羽毛和樹(shù)干波紋等復(fù)雜的示例中測(cè)試了他們的方法，這些示例在重復(fù)模式上似乎無(wú)窮無(wú)盡。
周和他的合作者，包括華中大學(xué)的朱Zhen和項(xiàng)柏，耶路撒冷希伯來(lái)大學(xué)的Dani Lischinski，深圳大學(xué)和特拉維夫大學(xué)的Daniel Cohen-Or和深圳大學(xué)的黃輝，將與他們合作。于8月12日至16日在不列顛哥倫比亞省溫哥華舉行的SIGGRAPH 2018上工作。這次年度聚會(huì)展示了在計(jì)算機(jī)圖形和交互技術(shù)領(lǐng)域最前沿的世界領(lǐng)先的專(zhuān)業(yè)人士，學(xué)者和創(chuàng)造力。
他們的方法包括訓(xùn)練一個(gè)稱(chēng)為生成器的生成網(wǎng)絡(luò)，以學(xué)習(xí)擴(kuò)展從示例中裁剪的任意紋理塊(即，將其空間范圍擴(kuò)大一倍)，從而使擴(kuò)展后的結(jié)果在視覺(jué)上類(lèi)似于包含適當(dāng)大小的示例性塊(大兩倍)。使用判別網(wǎng)絡(luò)(判別器)評(píng)估自動(dòng)擴(kuò)展的塊與實(shí)際包含的塊之間的視覺(jué)相似性。作為GAN的典型代表，鑒別器與生成器并行訓(xùn)練，以區(qū)分示例中的實(shí)際大塊和生成器生成的大塊。
周說(shuō)：“令人驚訝的是，我們發(fā)現(xiàn)，通過(guò)使用這種概念上簡(jiǎn)單的，自我監(jiān)督的對(duì)抗訓(xùn)練策略，訓(xùn)練后的網(wǎng)絡(luò)可以在各種紋理(包括固定和高度非固定紋理)上接近完美地工作。”
該工具旨在協(xié)助紋理藝術(shù)家進(jìn)行視頻游戲設(shè)計(jì)，虛擬現(xiàn)實(shí)和動(dòng)畫(huà)制作。一旦針對(duì)每個(gè)給定的紋理樣本進(jìn)行了自我監(jiān)督的對(duì)抗訓(xùn)練，則可以使用該框架來(lái)自動(dòng)生成擴(kuò)展的紋理，最大可達(dá)原始樣本大小的兩倍。在將來(lái)，研究人員希望他們的系統(tǒng)能夠以無(wú)監(jiān)督的方式實(shí)際提取紋理的高級(jí)信息。
此外，在將來(lái)的工作中，該團(tuán)隊(duì)打算在大規(guī)模紋理數(shù)據(jù)集上訓(xùn)練“通用”模型，并增強(qiáng)用戶控制能力。對(duì)于紋理美術(shù)師，由于美術(shù)師傾向于為自己的設(shè)計(jì)操縱紋理，因此具有用戶交互作用的受控合成將可能更加有用。