杜克大學(xué)計(jì)算機(jī)科學(xué)教授辛西婭·魯丁說(shuō)，但這就是問(wèn)題所在。“我們可以輸入醫(yī)學(xué)圖像，然后觀察另一端的結(jié)果('這是惡性病變的照片'，但是很難知道兩者之間發(fā)生了什么。”

這就是所謂的“黑匣子”問(wèn)題。機(jī)器的想法-網(wǎng)絡(luò)的隱藏層-甚至對(duì)于制造它的人來(lái)說(shuō)都是難以理解的。

“深度學(xué)習(xí)模型的問(wèn)題在于它們是如此復(fù)雜，以至于我們實(shí)際上并不知道他們正在學(xué)習(xí)什么。”杜克大學(xué)魯丁實(shí)驗(yàn)室的學(xué)生。“他們經(jīng)常可以利用我們不希望他們得到的信息。他們的推理過(guò)程可能是完全錯(cuò)誤的。”

魯丁(Rudin)，陳(Chen)和杜克大學(xué)(Duke)的本科畢業(yè)生貝jie杰(Yijie Bei)提出了解決此問(wèn)題的方法。通過(guò)修改這些預(yù)測(cè)背后的推理過(guò)程，研究人員可以更好地對(duì)網(wǎng)絡(luò)進(jìn)行故障排除或了解它們是否值得信賴。

大多數(shù)方法試圖通過(guò)找出指向圖像的關(guān)鍵特征或像素來(lái)揭示導(dǎo)致計(jì)算機(jī)視覺(jué)系統(tǒng)正確答案的原因：“這種胸部X射線的生長(zhǎng)被歸類為惡性的，因?yàn)閷?duì)于該模型，這些領(lǐng)域?qū)τ诜伟┑姆诸愔陵P(guān)重要。”這樣的方法并不能揭示網(wǎng)絡(luò)的原因，而只是揭示了它所處的位置。

公爵隊(duì)嘗試了另一種方法。他們的方法不是嘗試事后考慮網(wǎng)絡(luò)的決策，而是訓(xùn)練網(wǎng)絡(luò)通過(guò)表達(dá)對(duì)概念的理解來(lái)展示其工作。他們的方法通過(guò)揭示網(wǎng)絡(luò)需要多少來(lái)思考不同的概念來(lái)幫助破譯它所看到的內(nèi)容而起作用。魯丁說(shuō)：“它弄清楚了在網(wǎng)絡(luò)層中如何表示不同的概念。”

例如，給定一個(gè)圖書館的圖像，該方法可以確定神經(jīng)網(wǎng)絡(luò)的不同層是否以及依賴于它們對(duì)“書”的心理表達(dá)來(lái)識(shí)別場(chǎng)景的程度和程度。

研究人員發(fā)現(xiàn)，只需對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行少量調(diào)整，就可以像原始網(wǎng)絡(luò)一樣準(zhǔn)確地識(shí)別圖像中的對(duì)象和場(chǎng)景，同時(shí)在網(wǎng)絡(luò)的推理過(guò)程中獲得實(shí)質(zhì)性的可解釋性。魯丁說(shuō)：“該技術(shù)的應(yīng)用非常簡(jiǎn)單。”

該方法控制信息流經(jīng)網(wǎng)絡(luò)的方式。它涉及用新部分替換神經(jīng)網(wǎng)絡(luò)的一個(gè)標(biāo)準(zhǔn)部分。新部分僅約束網(wǎng)絡(luò)中的單個(gè)神經(jīng)元響應(yīng)人類所理解的特定概念而觸發(fā)。這些概念可以是日常物品的類別，例如“書”或“自行車”。但是它們也可以是一般特征，例如“金屬”，“木材”，“冷”或“溫暖”。通過(guò)一次只讓一個(gè)神經(jīng)元控制一個(gè)概念的信息，就很容易理解網(wǎng)絡(luò)的“思維方式”。