人，自行車，汽車或道路，天空，草地：圖像的哪些像素代表無人駕駛汽車前的不同前景人物或物體，哪些像素代表背景類別?這項(xiàng)稱為全景分割的任務(wù)是一個(gè)基本問題，已在許多領(lǐng)域中應(yīng)用，例如自動(dòng)駕駛汽車，機(jī)器人技術(shù)，增強(qiáng)現(xiàn)實(shí)，甚至在生物醫(yī)學(xué)圖像分析中。在弗萊堡大學(xué)計(jì)算機(jī)科學(xué)系，Abhinav Valada博士是機(jī)器人學(xué)習(xí)的助理教授，也是BrainLinks-BrainTools的成員，他專注于這個(gè)研究問題。Valada和他的團(tuán)隊(duì)開發(fā)了最先進(jìn)的“ EfficientPS”人工智能(AI)模型，該模型可以更快，更有效地對(duì)視覺場(chǎng)景進(jìn)行連貫識(shí)別。

這項(xiàng)任務(wù)通常使用稱為深度學(xué)習(xí)的機(jī)器學(xué)習(xí)技術(shù)來解決，其中人工神經(jīng)網(wǎng)絡(luò)弗賴堡研究人員解釋說，它們是從人腦中汲取靈感，從大量數(shù)據(jù)中學(xué)習(xí)。諸如Cityscapes之類的公共基準(zhǔn)在衡量這些技術(shù)的進(jìn)步方面起著重要作用。Valada團(tuán)隊(duì)的成員Rohit Mohan說：“多年來，來自Google或Uber的研究團(tuán)隊(duì)一直在這些基準(zhǔn)測(cè)試中爭(zhēng)奪榜首。” 來自弗萊堡(Freiburg)的計(jì)算機(jī)科學(xué)家的方法已被開發(fā)出來，用于理解城市的城市場(chǎng)景，在“城市景觀”(Cityscapes)中排名第一，Cityscapes是最有影響力的自動(dòng)駕駛場(chǎng)景理解研究的排行榜。EfficientPS還始終在其他標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集(例如KITTI，Mapillary Vistas和IDD)上設(shè)置新的最新技術(shù)。

在項(xiàng)目網(wǎng)站上，Valada展示了團(tuán)隊(duì)如何在各種數(shù)據(jù)集上訓(xùn)練不同AI模型的示例。結(jié)果疊加在相應(yīng)的輸入圖像上，其中顏色顯示模型將像素分配給的對(duì)象類別。例如，汽車標(biāo)記為藍(lán)色，人物標(biāo)記為紅色，樹木標(biāo)記為綠色，建筑物標(biāo)記為灰色。此外，AI模型還在每個(gè)被視為獨(dú)立實(shí)體的對(duì)象周圍繪制邊框。弗萊堡大學(xué)的研究人員成功地訓(xùn)練了該模型，以將所學(xué)的城市場(chǎng)景信息從斯圖加特轉(zhuǎn)移到紐約市。盡管AI模型不知道美國(guó)的城市長(zhǎng)什么樣，但它能夠準(zhǔn)確識(shí)別紐約市的場(chǎng)景。

Valada解釋說，以前解決該問題的大多數(shù)方法都具有較大的模型尺寸，并且在實(shí)際應(yīng)用中(例如受資源嚴(yán)重限制的機(jī)器人技術(shù))在計(jì)算上非常昂貴，“我們的EfficientPS不僅可以實(shí)現(xiàn)最新的性能，而且這也是計(jì)算效率最高，最快的方法。這進(jìn)一步擴(kuò)展了可以使用EfficientPS的應(yīng)用程序。”