機器學習(ML)算法已經(jīng)可以比他們正在研究的人類更好地識別模式。這使他們能夠在各種高風險情況下生成預測并做出決策。例如，電工使用IBM Watson的預測能力來預測客戶的需求。Uber的自動駕駛系統(tǒng)決定了最快的路線將乘客帶到目的地。和Insilico醫(yī)學利用其藥物發(fā)現(xiàn)引擎，以確定新的藥品的途徑。

隨著數(shù)據(jù)驅動學習系統(tǒng)的不斷發(fā)展，根據(jù)技術改進來定義“成功”將很容易，例如增加數(shù)據(jù)算法可合成的數(shù)量，從而提高其模式識別的效率。但是，要使機器學習系統(tǒng)真正成功，他們需要了解人的價值觀。更重要的是，他們需要能夠權衡我們相互競爭的愿望和要求，了解我們最重視的結果，并采取相應的行動。

了解價值

為了突出該種道德決策，我們的ML系統(tǒng)已經(jīng)與百家爭鳴凱伊Sotala，在芬蘭的研究人員對工作的基礎性研究院，輪流流量分析和自動駕駛汽車。是否應該使用收費公路，以將通勤時間縮短五分鐘，還是為了節(jié)省成本，走更長的路線會更好嗎?

回答這個問題并不像看起來那樣容易。

例如，如果A人節(jié)省了五分鐘的時間，則寧可選擇收費5美元的收費公路，但如果費用為10美元，他們可能不愿意采用收費公路。另一方面，人B可能總是更愿意選擇最短的路線而不考慮價格，因為他們比其他任何人都更重視時間。

在這種情況下，Sotala指出，我們最終要求ML系統(tǒng)確定人類更看重的是時間或金錢。因此，關于快速走哪條路的簡單問題似乎變成了對競爭價值的復雜分析。有人可能會想，'行車路線就是效率。我將讓AI系統(tǒng)告訴我最佳的實現(xiàn)方式。”但是另一個人可能會覺得采用不同的方法具有一定的價值，”他說。

確實，機器學習系統(tǒng)必須權衡我們的價值并在所有決策中進行權衡，但Sotala指出，在當前關頭這不是問題。系統(tǒng)要處理的任務非常簡單，因此研究人員可以手動輸入必要的價值信息。但是，隨著AI代理人的復雜性增加，Sotala解釋說，他們將需要能夠自行考慮并權衡我們的價值。

了解基于實用程序的代理

當涉及到整合價值時，Sotala指出問題在于智能代理如何做出決策。例如，恒溫器是一種反射劑。它知道由于設定的預定溫度而何時開始加熱房屋—溫控器在溫度降至特定溫度以下時會打開加熱系統(tǒng)，在溫度高于特定溫度時會關閉加熱系統(tǒng)。另一方面，基于目標的代理基于達成特定目標做出決策。例如，目標是購買購物清單中所有物品的代理商將繼續(xù)搜索，直到找到所有物品。

基于實用程序的代理程序比基于目標的代理程序高出一步。他們可以進行以下權衡取舍：今天，買牛奶比買新鞋更重要。但是，我比雜貨店離鞋店更近，兩家商店都將關門。在每個決策點上，基于目標的特工都會看到許多必須選擇的選項。每個選項都與特定的“效用”或獎勵相關。為了實現(xiàn)他們的目標，代理商遵循將最大化總獎勵的決策路徑。

從技術角度來看，基于實用程序的代理程序依靠“實用程序功能”來做出決策。這些是系統(tǒng)用于合成數(shù)據(jù)，平衡變量和最大化回報的公式。最終，獲得最大回報的決策路徑是系統(tǒng)被教導選擇以完成其任務的路徑。

盡管這些實用程序擅長于發(fā)現(xiàn)模式并響應報酬，但Sotala斷言，當前基于實用程序的代理具有固定的優(yōu)先級。結果，當涉及未來的AGI系統(tǒng)時，這些方法是不夠的，因為它們會自動運行，因此需要對人類的價值觀何時發(fā)生變化和變化有更深入的了解。

例如，一個人可能總是喜歡走更長的路線來避開高速公路并省錢，但是如果他們心臟病發(fā)作并試圖去急診室則不然。當我們的時間和金錢價值發(fā)生變化時，人工智能代理商應該如何預期和理解?這個問題更加復雜，因為正如索塔拉(Sotala)所指出的那樣，人類常常獨立于事物而對其價值進行評估，而不論它們是否具有持續(xù)的，切實的回報。有時，人類甚至珍視在某些方面可能造成傷害的事物。考慮一個重視隱私的成年人，但他的醫(yī)生或治療師可能需要訪問親密且深入的個人信息，這些信息可能會挽救生命。AI代理是否應透露私人信息?

最終，Sotala解釋說，基于實用程序的代理程序太簡單了，并且沒有深入到人類行為的根源。“效用函數(shù)描述的是行為，而不是行為的原因……。假設我們已經(jīng)大致了解該人所選擇的內(nèi)容，它們更多地是描述性模型。”盡管描述性模型可能會認識到乘客更喜歡省錢，但他們不理解原因，因此它將無法預期或確定其他值何時會超過“省錢”。