數(shù)十人正在賓夕法尼亞州匹茲堡的Facebook Reality Lab工作，研究可以重新定義21世紀通信的超現(xiàn)實化身。我通過電話與Yaser Sheikh談話，Yaser Sheikh是卡內(nèi)基梅隆大學 副教授 ，自2015年起在該市為Facebook開展VR研究。謝赫在 本周發(fā)布的技術(shù)博客文章中提供了背景 信息，詳細介紹了該公司對超現(xiàn)實化身的研究。我通過電子郵件跟進Facebook，以便在通話結(jié)束后進行澄清。

“Facebook現(xiàn)實實驗室匹茲堡可容納近100人，”該電子郵件解釋道。“為了適應團隊的增長，F(xiàn)RL匹茲堡將在今年晚些時候搬進位于匹茲堡的一座更大的建筑。”

這表明對團隊的未來進行了大量投資。該小組也不是Facebook唯一一個研究更逼真和個性化頭像的人。為了清楚起見，F(xiàn)acebook表示這種技術(shù)距消費者耳機還要多“幾年”。

Facebook本周詳細介紹了頭像系統(tǒng)“Codec Avatars。”過去幾年來，F(xiàn)acebook和Oculus開發(fā)者大會一直在討論這項工作。然而，這些最新細節(jié)提供了對工作及其路徑的深入了解，這些工作有朝一日可能將研究納入航運產(chǎn)品。

頭像創(chuàng)作

為了創(chuàng)建每個頭像，F(xiàn)acebook使用一個專門的捕捉工作室，由132個指向中心的攝像頭組成。在一個人制作各種面部表情的幾個小時后，系統(tǒng)會生成一個獨特的照片級逼真的化身臉部。另一個新建的系統(tǒng)捕獲尸體。

“創(chuàng)建栩栩如生的頭像目前需要在Facebook Reality Lab的匹茲堡辦事處使用高度定制的相機和麥克風系統(tǒng)捕獲大量高質(zhì)量的研究參與者的音頻和視頻，”來自Facebook的電子郵件解釋道。“這些數(shù)據(jù)用于訓練人工智能系統(tǒng)，有朝一日可以讓用戶通過幾個快照或視頻快速輕松地構(gòu)建他們的編解碼頭像。”

由于顯而易見的原因，當前的流程不會與消費者合作，因此研究的主要焦點是使用機器學習來生成這些細節(jié)的化身。有一天，你在Facebook或Instagram上現(xiàn)有的照片就足夠了。我問Sheikh他是否嘗試將自己的照片從Facebook提供給它的系統(tǒng)，看看他是否可以用它來構(gòu)建一個化身。他說，在嘗試之前，他們需要更多地了解光與皮膚的相互作用。

“當我們做這樣的工作時，我們希望確保它得到用戶的同意，”他補充道。

捕獲研究

為了駕駛這些頭像，F(xiàn)acebook在頭戴式捕捉研究設備的內(nèi)部構(gòu)建了一個帶有攝像頭的系統(tǒng) - 其中一個位于鼻子間隙中。

結(jié)果令人印象深刻。

VR頭戴式耳機內(nèi)部相對較暗，您不希望用光線遮擋用戶。可以使用人眼看不到的紅外燈照亮特征。這些類型的燈用于Oculus Rift“Constellation”位置跟蹤系統(tǒng)，并且通常用于眼睛跟蹤。Facebook在這里使用相同的技術(shù)來闡明捕獲系統(tǒng)中的功能。

其他方法

Facebook在加利福尼亞州的索薩利托(Sausalito)有一個獨立的團隊，致力于采用不同的逼真方法。

“這涉及探索可以與任何虛擬環(huán)境互動的基于物理的化身，并結(jié)合生物力學，神經(jīng)科學，運動分析和物理驅(qū)動模擬等領(lǐng)域的基礎(chǔ)研究，”Facebook解釋說。“這種技術(shù)仍然依賴于實時數(shù)據(jù)捕獲，就像Codec Avatars一樣，但它不是驅(qū)動神經(jīng)網(wǎng)絡的實時傳感器數(shù)據(jù)，而是驅(qū)動一個受人體解剖學啟發(fā)的基于物理學的模型。”

Facebook應該在今年晚些時候更多地分享這種方法。

長期研究，但仍然遙遠

Facebook的Oculus多年來一直在研究面部追蹤和逼真的化身。在SIGGRAPH 2015上，Oculus 與USC合作進行的研究 揭示了一種硬件原型，其笨重的臂與開發(fā)套件相連。

耳機泡沫襯里中的附加傳感器將讀取相機被阻擋的表情。

匹茲堡的FRL沒有涉及早期的研究。Facebook正在“通過可能的解決方案”，Sheikh分享了一些“奇跡”，需要為此成為主流。他說，總的來說，他們的目標是最終將技術(shù)轉(zhuǎn)移到產(chǎn)品團隊。然而，他警告說，他們首先需要弄清楚如何使用提供的最少量信息來制作逼真的化身。