為了滿足關(guān)鍵的業(yè)務(wù)需求,可能需要對(duì)AI進(jìn)行一些調(diào)整,但是我們?nèi)绾沃繟I建議是否僅出于業(yè)務(wù)需要而不是出于其他原因而被調(diào)整呢?
一家公司收到1000個(gè)新職位申請(qǐng),但應(yīng)該雇用誰(shuí)?如果將罪犯提早從監(jiān)獄中釋放出來,罪犯有多大可能成為重犯?隨著人工智能(AI)越來越多地進(jìn)入我們的生活,它可以幫助回答這些問題。但是我們?nèi)绾喂芾鞟I使用的數(shù)據(jù)集中的偏差呢?
“人工智能的決策是針對(duì)我們周圍可用的數(shù)據(jù)量身定制的,并且在種族,性別,國(guó)籍和其他受保護(hù)的屬性方面,數(shù)據(jù)總是存在偏差。當(dāng)人工智能做出決策時(shí),它會(huì)固有地獲得或加強(qiáng)這些偏差,卡內(nèi)基梅隆大學(xué)電氣與計(jì)算機(jī)工程(ECE)博士生Sanghamitra Dutta說。
杜塔說:“例如,發(fā)現(xiàn)郵政編碼會(huì)傳播種族偏見。同樣,如果女性簡(jiǎn)歷中包含“女性橄欖球隊(duì)”這樣的詞組,那么一種自動(dòng)化的招聘工具可能會(huì)學(xué)會(huì)降級(jí)女性的簡(jiǎn)歷。為解決這一問題,已有大量研究在過去十年中開發(fā)的軟件專注于機(jī)器學(xué)習(xí)的公平性并消除AI模型的偏見。
ECE教授Pulkit Grover說:“但是,為了滿足關(guān)鍵的業(yè)務(wù)需求,可能需要排除AI的某些偏見。”他與Dutta合作,了解如何將AI應(yīng)用于公平篩選求職者以及其他應(yīng)用程序中。
“起初,說一些偏見是可以的,甚至在政治上是不正確的,但是在某些情況下,常識(shí)表明允許某些偏見是可以接受的。例如,消防員需要抬起受害者并將他們帶出燃燒建筑物。舉重是一項(xiàng)關(guān)鍵的工作要求。”格羅弗說。
在這個(gè)例子中,舉起重物的能力可能偏向男性。格羅弗說:“這是一個(gè)您可能會(huì)有偏見的例子,但可以用對(duì)安全性至關(guān)重要的業(yè)務(wù)需求來解釋。”
“然后,問題就變成了您如何檢查AI工具是否給出的建議純粹是由于業(yè)務(wù)需要而不是其他原因而導(dǎo)致的。” 或者,您如何生成僅因業(yè)務(wù)需要而偏向其推薦的新AI算法?這些是與美國(guó)關(guān)于就業(yè)歧視的法律有關(guān)的重要問題。如果雇主可以證明某項(xiàng)功能(例如需要舉起身體)是真正的職業(yè)資格,則該偏見將被法律豁免。(這被稱為“標(biāo)題VII的業(yè)務(wù)必要防御”。)
AI算法已經(jīng)非常擅長(zhǎng)識(shí)別數(shù)據(jù)中的模式。如果不加以限制,由于刻板印象,這種能力可能導(dǎo)致不公平。因此,人工智能工具必須能夠解釋和捍衛(wèi)他們提出的建議。團(tuán)隊(duì)使用其新穎的方法來訓(xùn)練AI模型,以通過有偏見的數(shù)據(jù)進(jìn)行除草,并消除對(duì)執(zhí)行工作而言并非至關(guān)重要的偏見,同時(shí)將那些偏見視為業(yè)務(wù)必需。
根據(jù)Dutta的說法,在使用其度量和模型時(shí)會(huì)遇到一些技術(shù)挑戰(zhàn),但是正如團(tuán)隊(duì)所證明的那樣,這些挑戰(zhàn)可以克服。但是,還有一些重要的社會(huì)問題需要解決。一個(gè)關(guān)鍵點(diǎn)是,他們的模型無(wú)法自動(dòng)確定哪些功能對(duì)業(yè)務(wù)至關(guān)重要。Dutta解釋說:“ 為特定應(yīng)用程序定義關(guān)鍵功能不僅僅是一個(gè)數(shù)學(xué)問題,這就是為什么計(jì)算機(jī)科學(xué)家和社會(huì)科學(xué)家需要合作以擴(kuò)大AI在道德雇傭?qū)嵺`中的作用的原因。”
除Dutta和Grover外,研究小組還由歐洲經(jīng)委會(huì)教授Anupam Datta組成。ECE系統(tǒng)科學(xué)家Piotr Mardziel;和博士學(xué)位 候選人Praveen Venkatesh。
Dutta在2020年在紐約市舉行的AAAI人工智能大會(huì)上,在名為“具有豁免特征的歧視的信息理論量化”的論文中介紹了他們的研究。