從研究團(tuán)隊(duì)IBM沃森和亞利桑那州立大學(xué)已公布的一項(xiàng)調(diào)查中解釋的AI規(guī)劃(XAIP)的工作。該調(diào)查涵蓋67篇論文的工作,并繪制了該領(lǐng)域的最新趨勢。
由ASU的Yochan實(shí)驗(yàn)室的Subbarao Kambhampati教授領(lǐng)導(dǎo)的團(tuán)隊(duì)將他們的審查重點(diǎn)放在了自動(dòng)計(jì)劃系統(tǒng)領(lǐng)域:那些產(chǎn)生旨在實(shí)現(xiàn)目標(biāo)狀態(tài)的行動(dòng)序列(或計(jì)劃)的系統(tǒng)??山忉尩挠?jì)劃系統(tǒng)能夠回答有關(guān)為何選擇特定動(dòng)作或動(dòng)作序列的問題。該團(tuán)隊(duì)指出,該領(lǐng)域中可解釋的系統(tǒng)可以分為基于算法的,基于模型的或基于計(jì)劃的,并且盡管近年來所有類型的研究都在增加,但大多數(shù)工作已在基于模型的系統(tǒng)上完成。
在DARPA的2016年倡議的推動(dòng)下,近年來可解釋的AI(XAI)一直是活躍的研究主題。機(jī)器學(xué)習(xí)在諸如計(jì)算機(jī)視覺和自然語言處理等“感知”問題上的廣泛采用,導(dǎo)致了針對分類器(包括LIME和AllenNLP Interpret)的可解釋性技術(shù)的發(fā)展。感知是確定環(huán)境當(dāng)前狀態(tài)的一項(xiàng)重要技能,而自主系統(tǒng)(例如機(jī)器人,無人駕駛汽車甚至是玩游戲的AI)也必須做出決定。這些AI系統(tǒng)經(jīng)常采用計(jì)劃,從而為AI采取一系列行動(dòng)以實(shí)現(xiàn)其目標(biāo)。
可解釋的AI規(guī)劃(XAIP)系統(tǒng)能夠回答有關(guān)其計(jì)劃的問題;例如,計(jì)劃中為何包含或未包含特定動(dòng)作的原因。該團(tuán)隊(duì)將系統(tǒng)分為基于算法,??基于模型或基于計(jì)劃的系統(tǒng)。與最終用戶相反,基于算法的解釋通常對于系統(tǒng)設(shè)計(jì)人員調(diào)試算法最有幫助。基于計(jì)劃的說明使用摘要或抽象來使用戶能夠理解“在較長時(shí)間范圍和較大狀態(tài)空間中”運(yùn)行的計(jì)劃。大多數(shù)研究都是基于模型的解釋進(jìn)行的,該模型考慮了以下事實(shí):用戶比AI具有“相當(dāng)少的計(jì)算能力”,并且通常具有不同于“基本事實(shí)”的思維模型。對于這些系統(tǒng),說明需要協(xié)調(diào)用戶的
DARPA的XAI計(jì)劃指出,可解釋系統(tǒng)的一種動(dòng)機(jī)是增強(qiáng)用戶對AI產(chǎn)生的結(jié)果的信任。但是,Kambhampati的研究小組指出,解釋過程也可以被“ 劫持 ”,以產(chǎn)生“不再是真實(shí)的,而是用戶認(rèn)為令人滿意的任何東西”的解釋。