大家好，歡迎來到AI Alignment播客。我是盧卡斯·佩里。今天，我們正在與Jan Leike交談。Jan Leike是DeepMind的高級研究科學家，他的研究旨在幫助使機器學習變得強大而有益。他致力于增強學習代理的安全性和一致性。可以將他當前的研究理解為以下問題的動機：我們?nèi)绾卧O計競爭性和可擴展的機器學習算法，這些算法在沒有獎勵功能的情況下做出順序決策?如果這個播客對您來說有趣或有價值，請考慮在您喜歡的收聽平臺上關注我們，并給我們留下很好的評價。

這次對話涵蓋了Jan的博士學位和從理論研究到經(jīng)驗AI研究的轉(zhuǎn)變，為何發(fā)生這種轉(zhuǎn)變以及他對經(jīng)驗AI安全研究的重要性的看法，我們討論了DeepMind如何處理有益的AI和AI安全項目。我們將討論當今的AI整合前景以及Jan最激動的方法。我們進入Jan的遞歸獎勵建模研究的主要領域，并討論DeepMind上的AI安全基準測試工作以及AI對齊/ AI安全社區(qū)與主流AI和機器學習社區(qū)之間的知識和文化差異。作為友好的通知，播客后半段的傳入音頻存在一些音頻問題。我們竭盡所能清理這些聲音，我覺得最終的音頻很容易聽。我還要感謝Richard Ngo，Vishal Maini和Richard Mallah在開發(fā)和完善此播客問題時所提供的幫助。因此，讓我們開始與Jan Leike進行對話。

您為什么不先帶領我們完成AI領域的旅程呢?您最初是如何對數(shù)學和計算機科學感興趣的?告訴我一些關于你讀博士的時間。是什么引起了您的好奇心，為什么要追求自己的追求?

Jan Leike：我在2012年左右對AGI和AGI安全產(chǎn)生了興趣。我一次攻讀碩士學位，并且試圖思考我應該為自己的職業(yè)做什么。我正在網(wǎng)上閱讀很多東西。這就是我進入整個領域的方式。我當時的背景是數(shù)學和計算機科學，但我并不是真正從事AI方面的工作。我正在從事軟件驗證方面的工作。然后，我遇到了Marcus Hutter的AIXI模型，該模型基本上是AGI外觀的正式數(shù)學模型。它是高度理想化的。它實際上不是可以運行的東西，但是您可以考慮一下，并且可以實際證明它。我對此感到非常興奮。我認為這是一個很好的起點，因為您還記得那是在2012年整個深度學習革命發(fā)生之前，因此，目前尚不清楚我們實際上可以對AGI采用哪種方法。我的博士學位的目的是從高級理論角度來理解AGI。

盧卡斯·佩里(Lucas Perry)：與馬庫斯·哈特(Marcus Hutter)一起攻讀AIXI或“ A”，“ I”，“ X”，“ I”。

Jan Leike：因此，我的論文最終只是一些理論上的結(jié)果，其中一些實際上是這種理想化的代理人AIXI在任何客觀意義上都不是最優(yōu)的。在某種程度上，這全都取決于用于定義它的通用圖靈機。但是，AIXI上有一些具有客觀屬性的變體，例如漸近收斂到最優(yōu)策略。此變體基本上是基于Thompson采樣的變體，但這是一個完全通用的強化學習設置。所以這是部分可觀察到的，而且您沒有劇集。就像一切都是一集。因此，這并不是一個可以給出任何示例復雜度界限的設置。漸近收斂是您所能做的。隨之而來的另一件事是我們所說的“解決糧食問題的正式解決方案。

這里的想法是AIXI形式模型的問題之一是它假設其環(huán)境是可計算的，但其本身是不可爭議的。您不能真正使用它進??行多主體分析。因此，我們所做的就是提出一種形式主義，就像AIXI的變體一樣，如果我們將代理或環(huán)境與其他類似AIXI的代理一起嵌入，則可以屬于自己的環(huán)境類。然后，當他們這樣做時，他們?nèi)匀豢梢詽u近學習正確預測代理將執(zhí)行的操作，然后漸近收斂到Nash平衡。