當(dāng)涉及人工智能時(shí)，關(guān)于“安全”和“不安全”行為的構(gòu)成經(jīng)常引起爭議。正如DeepMind的AGI安全研究員Ramana Kumar指出的那樣，這些術(shù)語是主觀的，并且“只能根據(jù)AI系統(tǒng)的用戶和受益者的價(jià)值進(jìn)行定義。”

幸運(yùn)的是，在面對(duì)與創(chuàng)建安全AI代理相關(guān)的技術(shù)問題時(shí)，這些問題通常可以回避，因?yàn)檫@些問題與確定正確的或道德上的適當(dāng)問題無關(guān)。而是，從技術(shù)角度來看，術(shù)語“安全性”的最佳定義是AI代理，它始終如一地采取行動(dòng)以達(dá)到期望的結(jié)果，而不管這些期望的結(jié)果可能是什么。

在這方面，Kumar解釋說，在創(chuàng)建負(fù)責(zé)自我改進(jìn)的AI代理時(shí)，“構(gòu)建安全代理的技術(shù)問題在很大程度上與“安全”的含義無關(guān)，因?yàn)楹艽笠徊糠謫栴}是如何解決的。建立一個(gè)可靠地執(zhí)行某事的代理，無論該事是什么，其方式都使該方法繼續(xù)起作用，即使所考慮的代理越來越有能力。”

簡而言之，不應(yīng)將制作“安全” AI代理與制作“道德” AI代理混為一談。各自的術(shù)語在談?wù)摬煌氖虑椤?/span>

通常，回避安全性的道德定義會(huì)使AI技術(shù)工作變得容易得多，它使研究得以發(fā)展，而有關(guān)道德問題的辯論也在不斷發(fā)展。舉個(gè)例子，盡管我們尚未就是否應(yīng)該保護(hù)駕駛員或行人安全的框架達(dá)成共識(shí)，但優(yōu)步的自動(dòng)駕駛汽車已經(jīng)在大街上。

但是，當(dāng)要?jiǎng)?chuàng)建一個(gè)能夠自我完善的強(qiáng)大而安全的AI系統(tǒng)時(shí)，技術(shù)工作就變得困難得多，并且該領(lǐng)域的研究仍處于起步階段。這主要是因?yàn)槲覀儾粌H僅與一個(gè)AI代理打交道。我們正在與幾代未來的自我完善代理商打交道。

Kumar澄清說：“當(dāng)一個(gè)AI代理自我完善時(shí)，人們可以將情況視為涉及兩個(gè)代理：父母自行對(duì)其進(jìn)行修改的“種子”或“父母”代理以及“子”代理...及其總和。結(jié)果，為了知道我們已經(jīng)創(chuàng)建了一個(gè)安全的AI代理，我們需要了解所有可能來自第一個(gè)代理的子代理。