最近，微軟開源了Counterfit，這是一種AI安全風(fēng)險評估工具，旨在幫助開發(fā)人員測試AI和機器學(xué)習(xí)系統(tǒng)的安全性。該公司表示，Counterfit可以使組織進行評估，以確保其業(yè)務(wù)中使用的算法可靠且值得信賴。

當(dāng)前，人工智能技術(shù)正越來越多地用于受監(jiān)管的行業(yè)，例如醫(yī)療保健，金融和國防。但是，組織在采用風(fēng)險緩解策略方面滯后。微軟的一項調(diào)查發(fā)現(xiàn)，一些公司用戶表示他們沒有足夠的資源來確保其AI系統(tǒng)的穩(wěn)定性和安全性。微軟表示，Counterfit源于公司評估AI系統(tǒng)中是否存在漏洞的需求，目的是主動保護AI服務(wù)。 該工具最初是為目標(biāo)AI模型專門編寫的攻擊腳本的集合，然后演變?yōu)樽詣踊a(chǎn)品，以對多個系統(tǒng)進行大規(guī)?；鶞?zhǔn)測試。

在底部，Counterfit是一個命令行實用程序，為對抗性框架和可用于逃避和竊取模型的預(yù)加載算法提供了一層。 Counterfit旨在為安全社區(qū)提供對已發(fā)布攻擊的訪問權(quán)限，同時提供一個接口，通過該接口可以構(gòu)造，管理和發(fā)起模型攻擊。

使用Counterfit在AI系統(tǒng)上進行滲透測試時，安全團隊可以選擇默認(rèn)設(shè)置，設(shè)置隨機參數(shù)或自定義每個參數(shù)以覆蓋廣泛的漏洞。具有多個模型的組織可以使用Counterfit的內(nèi)置自動化功能進行掃描，并且可以選擇多次掃描以創(chuàng)建運營基準(zhǔn)。

Counterfit還提供日志記錄以記錄對目標(biāo)模型的攻擊。正如微軟指出的那樣，遙測技術(shù)可能會促使工程團隊提高對系統(tǒng)故障模式的了解。

在內(nèi)部，Microsoft使用Counterfit作為其AI紅色團隊運營的一部分，并在AI開發(fā)階段期間將漏洞投入生產(chǎn)。 該公司還表示，已與眾多客戶進行了Counterfit的測試，其中包括航空航天巨頭空中客車(Airbus)，該公司正在開發(fā)基于Azure AI服務(wù)的AI平臺。

“人工智能在工業(yè)中的使用正在增加。”空中客車公司高級網(wǎng)絡(luò)安全研究員Matilda Rhode在一份聲明中說：“確保這項技術(shù)的安全至關(guān)重要，尤其是要了解在問題空間中可以實現(xiàn)特征空間攻擊的位置。”

基本上，公司希望人們相信AI沒有被操縱和安全。1月發(fā)布的Gartner的“管理AI風(fēng)險的5個優(yōu)先事項”框架中的一項建議是，組織“針對攻擊性攻擊采取特定的AI安全措施，以確保抵抗力和應(yīng)變能力。”這家研究公司估計，到2024年，實施專門的AI風(fēng)險管理控制的組織將避免產(chǎn)生負(fù)面AI結(jié)果的頻率是不消除負(fù)面結(jié)果的兩倍。“根據(jù)Gartner的報告，到2022年，將有30%的AI網(wǎng)絡(luò)攻擊將使用訓(xùn)練數(shù)據(jù)對基于機器學(xué)習(xí)的系統(tǒng)進行毒害，建模盜竊或?qū)剐詷颖竟?/span>