計(jì)算機(jī)視覺(jué)模型已經(jīng)學(xué)會(huì)了準(zhǔn)確地識(shí)別照片中的對(duì)象，從而使某些對(duì)象在某些數(shù)據(jù)集上的表現(xiàn)優(yōu)于人類(lèi)。但是，當(dāng)那些相同的物體檢測(cè)器在現(xiàn)實(shí)世界中變得松懈時(shí)，它們的性能會(huì)明顯下降，這會(huì)給自動(dòng)駕駛汽車(chē)和其他使用機(jī)器視覺(jué)的對(duì)安全至關(guān)重要的系統(tǒng)帶來(lái)可靠性方面的擔(dān)憂(yōu)。
為了彌合這種性能差距，CSAIL和IBM研究人員組成的團(tuán)隊(duì)著手創(chuàng)建一種非常不同的對(duì)象識(shí)別數(shù)據(jù)集。它被稱(chēng)為 ObjectNet， 是ImageNet上的一部戲，ImageNet是眾包的照片數(shù)據(jù)庫(kù)，負(fù)責(zé)引發(fā)現(xiàn)代人工智能的繁榮。
與ImageNet具有從Flickr和其他社交媒體網(wǎng)站拍攝的照片不同，ObjectNet具有由付費(fèi)自由職業(yè)者拍攝的照片。顯示的對(duì)象是側(cè)面傾斜的，以奇數(shù)角度拍攝，并顯示在雜亂的房間中。當(dāng)在ObjectNet上測(cè)試領(lǐng)先的對(duì)象檢測(cè)模型時(shí)， 其準(zhǔn)確率從ImageNet上的97%的高位下降到50-55%。
CSAIL研究科學(xué)家Boris Katz表示：“我們創(chuàng)建了這個(gè)數(shù)據(jù)集來(lái)告訴人們對(duì)象識(shí)別問(wèn)題仍然是一個(gè)難題 。” “我們需要更好，更智能的算法。” Katz和他的同事將在神經(jīng)信息處理系統(tǒng)會(huì)議(NeurIPS)上介紹ObjectNet及其結(jié)果 。
深度學(xué)習(xí)是推動(dòng)AI最新發(fā)展的技術(shù)，它使用人工“神經(jīng)元”層在大量原始數(shù)據(jù)中查找模式。在訓(xùn)練了數(shù)百至數(shù)千個(gè)示例之后，它學(xué)會(huì)在照片中挑選椅子。但是，即使具有數(shù)百萬(wàn)個(gè)圖像的數(shù)據(jù)集也無(wú)法以每個(gè)可能的方向和設(shè)置顯示每個(gè)對(duì)象，這在模型在現(xiàn)實(shí)生活中遇到這些對(duì)象時(shí)也會(huì)造成問(wèn)題。
ObjectNet在另一個(gè)重要方面與常規(guī)圖像數(shù)據(jù)集有所不同：它不包含訓(xùn)練圖像。大多數(shù)數(shù)據(jù)集都分為用于訓(xùn)練模型和測(cè)試其性能的數(shù)據(jù)。但是訓(xùn)練集通常與測(cè)試集有著細(xì)微的相似之處，實(shí)際上使模型在測(cè)試時(shí)達(dá)到了潛行高峰。
乍看之下， 擁有 1400萬(wàn)張圖像的ImageNet看起來(lái)是巨大的。但是，如果不包括訓(xùn)練集，則其大小可與ObjectNet媲美(50,000張照片)。
研究合著者CSAIL和CBMM的研究作者Andrei Barbu說(shuō)：“如果我們想知道算法在現(xiàn)實(shí)世界中的表現(xiàn)如何，我們應(yīng)該在無(wú)偏見(jiàn)且從未見(jiàn)過(guò)的圖像上對(duì)其進(jìn)行測(cè)試。” 。
試圖捕獲現(xiàn)實(shí)世界對(duì)象的復(fù)雜性的數(shù)據(jù)集
很少有人會(huì)考慮與他們的朋友分享ObjectNet的照片，這就是重點(diǎn)。研究人員從Amazon Mechanical Turk聘請(qǐng)了自由職業(yè)者，為數(shù)百?gòu)堧S機(jī)擺放的家用物品拍照。工人們?cè)趹?yīng)用程序上收到了照片分配，并帶有動(dòng)畫(huà)說(shuō)明，告訴他們?nèi)绾味ㄏ蚍峙涞膶?duì)象，從哪個(gè)角度拍攝以及是否將對(duì)象擺放在廚房，浴室，臥室或客廳中。
他們希望消除三個(gè)常見(jiàn)的偏見(jiàn)：正面朝上，在標(biāo)志性位置和高度相關(guān)的設(shè)置中顯示的對(duì)象，例如廚房中堆疊的盤(pán)子。
花費(fèi)了三年的時(shí)間來(lái)構(gòu)思數(shù)據(jù)集并設(shè)計(jì)一個(gè)可標(biāo)準(zhǔn)化數(shù)據(jù)收集過(guò)程的應(yīng)用程序。研究合著者，麻省理工學(xué)院電氣工程與計(jì)算機(jī)科學(xué)系研究生 David Mayo說(shuō)：“發(fā)現(xiàn)如何以控制各種偏差的方式收集數(shù)據(jù)是非常棘手的事情 。” “我們還必須進(jìn)行實(shí)驗(yàn)，以確保我們的指示清晰明了，并確保工人確切知道他們的要求。”
收集實(shí)際數(shù)據(jù)又花了一年的時(shí)間，最后，由于不符合研究人員的要求，所有自由職業(yè)者提交的照片中有一半被丟棄。為了提供幫助，一些工作人員在他們的對(duì)象上添加了標(biāo)簽，將它們放在白色背景上，或者嘗試改善分配給他們拍攝的照片的美觀性。
許多照片是在美國(guó)以外拍攝的，因此，有些物體可能看起來(lái)很陌生。成熟的橘子是綠色的，香蕉的大小不同，衣服的形狀和質(zhì)地也各不相同。
Object Net與ImageNet：領(lǐng)先的對(duì)象識(shí)別模型的比較
當(dāng)研究人員在ObjectNet上測(cè)試最新的計(jì)算機(jī)視覺(jué)模型時(shí)，他們發(fā)現(xiàn)ImageNet的性能下降了40-45個(gè)百分點(diǎn)。研究人員說(shuō)，結(jié)果表明，物體檢測(cè)器仍然難以理解物體是三維的并且可以旋轉(zhuǎn)并移動(dòng)到新的環(huán)境中。研究合著者，IBM研究人員Dan Gutfreund說(shuō)：“這些概念并未內(nèi)置在現(xiàn)代物體檢測(cè)器的體系結(jié)構(gòu)中 。”
為了證明ObjectNet很難精確地因?yàn)閷?duì)象的觀看和定位方式，研究人員允許模型訓(xùn)練ObjectNet數(shù)據(jù)的一半，然后再測(cè)試其余一半。在同一數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試通?？梢蕴岣咝阅?，但是此處的模型僅稍有改善，這表明對(duì)象檢測(cè)器尚未完全理解現(xiàn)實(shí)世界中對(duì)象的存在方式。
自2012年以來(lái)，計(jì)算機(jī)視覺(jué)模型已逐步改善，當(dāng)時(shí)名為AlexNet的物體檢測(cè)器在年度ImageNet競(jìng)賽中擊敗了比賽。隨著數(shù)據(jù)集變得越來(lái)越大，性能也得到了提高。
但是研究人員警告說(shuō)，設(shè)計(jì)更大版本的ObjectNet并增加視角和方向并不一定會(huì)帶來(lái)更好的結(jié)果。ObjectNet的目的是激勵(lì)研究人員提出下一波革命性技術(shù)，就像ImageNet挑戰(zhàn)最初的啟動(dòng)一樣。
卡茲說(shuō)：“人們?yōu)檫@些檢測(cè)器提供了大量數(shù)據(jù)，但是收益卻在減少。” “您不能從任何角度和每種情況下查看對(duì)象。我們希望，這個(gè)新的數(shù)據(jù)集將產(chǎn)生強(qiáng)大的計(jì)算機(jī)視覺(jué)，而在現(xiàn)實(shí)世界中不會(huì)出現(xiàn)令人驚訝的故障。”