東京工業(yè)大學(xué)(Tokyo Tech)的研究人員與卡內(nèi)基梅隆大學(xué)，圣安德魯斯大學(xué)和新南威爾士大學(xué)的同事合作，開發(fā)了一種腕戴式3D姿勢估計(jì)裝置。該系統(tǒng)由一個攝像頭組成，該攝像頭捕獲手背的圖像，并由稱為DorsalNet的神經(jīng)網(wǎng)絡(luò)支持，該AI神經(jīng)網(wǎng)絡(luò)可以準(zhǔn)確識別動態(tài)手勢。

能夠跟蹤手勢對于推進(jìn)增強(qiáng)現(xiàn)實(shí)(AR)和虛擬現(xiàn)實(shí)(VR)設(shè)備至關(guān)重要，而增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)設(shè)備已經(jīng)在醫(yī)療，體育和娛樂領(lǐng)域開始大量需求。迄今為止，這些設(shè)備都涉及使用笨重的數(shù)據(jù)手套，該手套往往會阻礙自然運(yùn)動，或者使用的傳感器范圍有限。

現(xiàn)在，由東京工業(yè)大學(xué)的小池秀樹(Hideki Koike)領(lǐng)導(dǎo)的研究小組設(shè)計(jì)了一種基于相機(jī)的腕戴式3D手勢識別系統(tǒng)，該系統(tǒng)將來可能與智能手表相提并論。他們的系統(tǒng)可以重要地允許在移動設(shè)置中捕獲手部動作。

研究人員說：“這項(xiàng)工作是第一個使用來自手背區(qū)域視覺特征的基于視覺的實(shí)時3D手勢估計(jì)器。”該系統(tǒng)由一個名為DorsalNet的神經(jīng)網(wǎng)絡(luò)支持的攝像機(jī)組成，該神經(jīng)網(wǎng)絡(luò)可以通過檢測手背的變化來準(zhǔn)確估算3D手的姿勢。

研究人員證實(shí)，他們的系統(tǒng)在識別動態(tài)手勢方面比以前的工作平均精度高出20%，并且在檢測11種不同的抓握類型方面達(dá)到了75%的精度。

這項(xiàng)工作可以促進(jìn)支持裸手交互的控制器的開發(fā)。在初步測試中，研究人員證明可以將其系統(tǒng)用于智能設(shè)備控制，例如，只需更改手指角度即可更改智能手表上的時間。他們還表明可以將該系統(tǒng)用作虛擬鼠標(biāo)或鍵盤，例如通過旋轉(zhuǎn)手腕來控制指針的位置并使用簡單的8鍵鍵盤輸入輸入。

他們指出，對于現(xiàn)實(shí)世界的使用，將需要對該系統(tǒng)進(jìn)行進(jìn)一步的改進(jìn)，例如使用具有更高幀頻的相機(jī)來捕捉快速的手腕運(yùn)動，并能夠應(yīng)對更多不同的光照條件。