大腦最重要的特征之一是它是一個(gè)“嘈雜的”系統(tǒng)：并非每個(gè)神經(jīng)元都包含完美的信息，這些信息可以完美清晰地通過突觸傳遞。有時(shí)，部分或沖突的信息由大腦轉(zhuǎn)變?yōu)樾袆?dòng)，有時(shí)，直到隨著時(shí)間的推移積累了更多的信息，才對(duì)部分信息起作用。

“這就是為什么當(dāng)您在不同的時(shí)間用相同的輸入刺激大腦時(shí)，您會(huì)得到不同的反應(yīng)，”五年級(jí)博士Mohammad“ Reza” Mahmoodi解釋說。加州大學(xué)圣塔芭芭拉分校電氣和計(jì)算機(jī)工程教授Dmitri Strukov的實(shí)驗(yàn)室候選人。“嘈雜的，不可靠的分子機(jī)制是重復(fù)刺激相同的刺激而獲得實(shí)質(zhì)上不同的神經(jīng)反應(yīng)的原因，這反過來又導(dǎo)致了復(fù)雜的隨機(jī)或不可預(yù)測(cè)的行為。”

Mahmoodi說，人腦非常擅長(zhǎng)填補(bǔ)丟失的信息的空白，并通過噪聲進(jìn)行分類以得出準(zhǔn)確的結(jié)果，因此“進(jìn)垃圾”并不一定會(huì)產(chǎn)生“垃圾”。似乎最適合嘈雜的信息。在隨機(jī)計(jì)算中，噪聲用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，將其“規(guī)范化”以提高其健壯性和性能。

Mahmoodi解釋說，尚不清楚在什么理論基礎(chǔ)上將感知過程中涉及的神經(jīng)元反應(yīng)分為“噪聲”和“信號(hào)”，但是大腦中計(jì)算的嘈雜本質(zhì)激發(fā)了隨機(jī)神經(jīng)網(wǎng)絡(luò)的發(fā)展。而且，這些已成為解決機(jī)器學(xué)習(xí)，信息理論和統(tǒng)計(jì)問題的最先進(jìn)方法。

Mahmoodi及其合著者Strukov和Mirko Prezioso在一篇論文 中寫道：“如果您想要一個(gè)隨機(jī)系統(tǒng)，則必須產(chǎn)生一些噪聲。”該 論文描述了創(chuàng)建這種噪聲系統(tǒng)的方法。“ 基于高性能的神經(jīng)計(jì)算和neurooptimization非易失性存儲(chǔ)器的通用隨機(jī)點(diǎn)產(chǎn)品線路 ”被發(fā)表在最近一期的Nature雜志上通信的問題。

基于隨機(jī)計(jì)算運(yùn)行的最著名的網(wǎng)絡(luò)是所謂的“玻爾茲曼”機(jī)，它可以解決困難的組合優(yōu)化問題。這些問題的特征在于，可能存在的解決方案的數(shù)量實(shí)際上是無限的，但沒有一個(gè)絕對(duì)是最好的解決方案。一個(gè)著名的例子就是旅行推銷員的問題，即推銷員需要穿越美國(guó)的每個(gè)州來銷售產(chǎn)品，但必須通過盡可能短的路徑來做到這一點(diǎn)。

由于空間如此之大，并且其中路線的可能組合幾乎是無限的，因此不存在明確的最佳，完美解決方案。不過，馬哈茂迪指出：“您可以使用神經(jīng)網(wǎng)絡(luò)和啟發(fā)式算法來找到一種半優(yōu)化的解決方案。重要的是您可以在合理的時(shí)間內(nèi)產(chǎn)生良好的響應(yīng)。”

這可以通過應(yīng)用一種稱為“模擬退火”的算法來簡(jiǎn)化，該算法受物理學(xué)中的結(jié)晶過程啟發(fā)。

“獲得晶體結(jié)構(gòu)，”馬哈茂迪說，“將固體加熱到很高的溫度，然后慢慢冷卻。如果將其緩慢冷卻，所有分子都將找到能量最低的位置，最完美的位置，并且您會(huì)得到美麗，完全均勻的晶體。”

在模擬退火中使用了類似的方法。“確實(shí)，”馬哈茂迪解釋說，“當(dāng)我們開始解決問題時(shí)，我們會(huì)使用過多的噪聲，這與晶體形成中的溫度過高類似。結(jié)果是神經(jīng)網(wǎng)絡(luò)中的計(jì)算是隨機(jī)的或隨機(jī)的。然后，我們逐漸減少注入的噪聲，同時(shí)轉(zhuǎn)向確定性或完全可預(yù)測(cè)的計(jì)算，繼續(xù)進(jìn)行晶體形成類比稱為“降低溫度”。此過程提高了網(wǎng)絡(luò)探索搜索空間的能力，并提供了更好的最終解決方案。”

對(duì)于團(tuán)隊(duì)來說，最大的問題是他們是否可以建立一個(gè)快速，節(jié)能且可以在可調(diào)溫度(噪聲)下運(yùn)行的隨機(jī)神經(jīng)網(wǎng)絡(luò)。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)有兩個(gè)共同點(diǎn)：大量的權(quán)重，它們本質(zhì)上是網(wǎng)絡(luò)在訓(xùn)練中學(xué)習(xí)的可調(diào)參數(shù);以及龐大的計(jì)算模塊基礎(chǔ)，主要執(zhí)行乘法和加法運(yùn)算。

因此，構(gòu)建節(jié)能高效的高吞吐量神經(jīng)網(wǎng)絡(luò)需要能夠在給定區(qū)域中存儲(chǔ)更多信息的設(shè)備以及能夠更快地以更高的能源效率執(zhí)行計(jì)算的電路。盡管已經(jīng)有很多乘法電路以及隨機(jī)神經(jīng)元的演示，但是結(jié)合了兩種功能的有效硬件實(shí)現(xiàn)仍然缺失。

在Strukov實(shí)驗(yàn)室中，Mahmoodi和其他人正在研究對(duì)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)至關(guān)重要的兩種主流技術(shù)：憶阻器和嵌入式閃存。

Mahmoodi說：“我們很幸運(yùn)能夠在UCSB制造最先進(jìn)的模擬憶阻器技術(shù)。” “每個(gè)憶阻器或閃存單元都很小，可以存儲(chǔ)五位以上的數(shù)據(jù)，而數(shù)字存儲(chǔ)器(如SRAM)則要大得多，并且只能存儲(chǔ)一位。因此，我們使用這些更小，更高效的設(shè)備來設(shè)計(jì)具有模擬和數(shù)字電路的混合信號(hào)神經(jīng)網(wǎng)絡(luò)，因此比純數(shù)字系統(tǒng)要快得多，效率也更高。

他補(bǔ)充說：“實(shí)際上，在我們的論文中，我們報(bào)告了基于憶阻器或嵌入式閃存的緊湊，快速，節(jié)能且可擴(kuò)展的隨機(jī)神經(jīng)網(wǎng)絡(luò)電路。” “電路的高性能歸功于混合信號(hào)(數(shù)字和模擬)實(shí)現(xiàn)，而有效的隨機(jī)操作是通過利用電路的固有噪聲實(shí)現(xiàn)的。我們證明，我們的電路可以比CPU更快地有效地解決優(yōu)化問題，數(shù)量級(jí)高，并且能效更高。”