無論AI和機(jī)器學(xué)習(xí)系統(tǒng)在生產(chǎn)中具有強(qiáng)大的功能，都無法抵御對(duì)抗性攻擊或試圖通過惡意輸入欺騙算法的技術(shù)。研究表明，即使在圖像上產(chǎn)生很小的擾動(dòng)，也可能以很高的概率欺騙最好的分類器?？紤]到“ AI即服務(wù)”業(yè)務(wù)模型的廣泛傳播，這是一個(gè)問題，在該模型中，亞馬遜，谷歌，微軟，Clarifai等公司已經(jīng)將可能容易受到攻擊的系統(tǒng)提供給最終用戶。

在科技巨頭百度提出的研究人員在最近的一個(gè)部分解決紙張上Arxiv.org公布：Advbox。他們將其描述為一個(gè)用于生成對(duì)抗性示例的開源工具箱，并說它能夠在Facebook的PyTorch和Caffe2，MxNet，Keras，Google的TensorFlow和百度自己的PaddlePaddle等框架中欺騙模型。

盡管Advbox本身不是新東西-最初的發(fā)布是一年多以前的-但本文還是著重于揭示技術(shù)細(xì)節(jié)。

AdvBox基于Python，它實(shí)現(xiàn)了幾種常見攻擊，這些攻擊執(zhí)行對(duì)敵樣本的搜索。每種攻擊方法都使用距離測(cè)量來量化對(duì)抗性擾動(dòng)的大小，而子模型Perceptron支持圖像分類和對(duì)象檢測(cè)模型以及云API，該模型評(píng)估模型對(duì)噪聲，模糊，亮度調(diào)整的魯棒性，輪換等。

AdvBox附帶了用于測(cè)試容易受到所謂對(duì)抗性T恤或面部識(shí)別攻擊的檢測(cè)模型的工具。此外，它還通過附帶的Python腳本提供對(duì)百度云托管的Deepfake檢測(cè)服務(wù)的訪問。

共同作者寫道：“對(duì)[輸入]的微小且通常是難以察覺的擾動(dòng)足以愚弄最強(qiáng)大的[AI]。” “與以前的工作相比，我們的平臺(tái)支持黑匣子攻擊……以及更多的攻擊方案。”

百度并不是唯一一家發(fā)布旨在幫助數(shù)據(jù)科學(xué)家防御對(duì)抗攻擊的資源的公司。去年，IBM和MIT發(fā)布了一個(gè)衡量機(jī)器學(xué)習(xí)和AI算法健壯性的指標(biāo)，稱為Cross Lipschitz網(wǎng)絡(luò)健壯性至尊價(jià)值，簡(jiǎn)稱CLEVER。并且在4月，IBM宣布了一個(gè)開發(fā)工具箱，稱為Adversarial Robustness Toolbox，其中包括用于測(cè)量模型漏洞的代碼，并提出了防止運(yùn)行時(shí)操縱的方法。另外，德國圖賓根大學(xué)的研究人員創(chuàng)建了Foolbox，這是一個(gè)Python庫，用于針對(duì)TensorFlow，Keras和其他框架產(chǎn)生20多種不同的攻擊。

但是還有很多工作要做。巴黎多芬大學(xué)的教授賈馬爾·阿蒂夫(Jamal Atif)表示，在圖像分類領(lǐng)域中最有效的防御策略-用對(duì)抗圖像示例增強(qiáng)一組照片-充其量只能將準(zhǔn)確率提高到45%。“這是最先進(jìn)的，”他在由法國Digitale主持的年度法國AI大會(huì)上在巴黎的講話中說。“我們只是沒有強(qiáng)大的防御策略。”