商業(yè)概覽：
OpenAI是一個(gè)人工智能研究實(shí)驗(yàn)室，由OpenAI LP及其上級(jí)組織非營(yíng)利組織OpenAI Inc.組成。該公司是技術(shù)巨頭DeepMind的競(jìng)爭(zhēng)對(duì)手，在人工智能(AI)領(lǐng)域進(jìn)行研究，以共同促進(jìn)并以有益于整個(gè)人類的方式開(kāi)發(fā)友好的AI。該組織由埃隆·馬斯克(Elon Musk)，薩姆·奧特曼(Sam Altman)等人于2015年年底在舊金山成立，他們共同認(rèn)捐了10億美元。馬斯克于2018年2月從董事會(huì)辭職，但仍是捐助者。2019年，OpenAI LP從微軟獲得了10億美元的投資。2020年6月，OpenAI宣布了GPT-3，這是一種針對(duì)來(lái)自互聯(lián)網(wǎng)的數(shù)萬(wàn)億個(gè)單詞訓(xùn)練的語(yǔ)言模型。它還宣布了一個(gè)關(guān)聯(lián)的API，簡(jiǎn)稱為“ API”，將成為其首個(gè)商業(yè)產(chǎn)品的核心。GPT-3旨在以自然語(yǔ)言回答問(wèn)題，但也可以在各種語(yǔ)言之間進(jìn)行翻譯，并且可以連貫地生成即興文本。
自動(dòng)點(diǎn)唱機(jī)：
自動(dòng)點(diǎn)唱機(jī)是一種神經(jīng)網(wǎng)絡(luò)，可以產(chǎn)生包括基本唱歌在內(nèi)的音樂(lè)，作為各種類型和藝術(shù)風(fēng)格的原始音頻。他們將發(fā)布模型權(quán)重和代碼，以及用于探索生成的樣本的工具。自動(dòng)音樂(lè)生成可追溯到半個(gè)多世紀(jì)。一種突出的方法是以鋼琴卷的形式象征性地產(chǎn)生音樂(lè)，該音樂(lè)指定要演奏的每個(gè)音符的時(shí)機(jī)，音高，速度和樂(lè)器。這導(dǎo)致了令人印象深刻的結(jié)果，例如制作巴赫合唱，使用多種樂(lè)器的和弦音樂(lè)以及時(shí)長(zhǎng)的音樂(lè)作品。
但是符號(hào)生成器有局限性，它們無(wú)法捕獲人的聲音或音樂(lè)必不可少的許多更細(xì)微的音色，動(dòng)態(tài)性和表現(xiàn)力。另一種方法是將音樂(lè)直接建模為原始音頻。由于音序很長(zhǎng)，因此在音頻級(jí)別上生成音樂(lè)非常具有挑戰(zhàn)性。17以CD質(zhì)量(44 kHz，16位)播放一首典型的4分鐘歌曲需要超過(guò)1000萬(wàn)步。為了進(jìn)行比較，GPT-2有1,000個(gè)時(shí)間步長(zhǎng)，而OpenAI Five每場(chǎng)比賽花費(fèi)了數(shù)萬(wàn)個(gè)時(shí)間步長(zhǎng)。因此，要學(xué)習(xí)音樂(lè)的高級(jí)語(yǔ)義，模型將必須處理極長(zhǎng)距離的依賴關(guān)系。
MuseNet：
MuseNet是一個(gè)深度神經(jīng)網(wǎng)絡(luò)，可以用10種不同的樂(lè)器生成4分鐘的音樂(lè)作品，并且可以將鄉(xiāng)村音樂(lè)，莫扎特音樂(lè)和甲殼蟲(chóng)音樂(lè)的風(fēng)格進(jìn)行組合。MuseNet并未根據(jù)他們對(duì)音樂(lè)的理解進(jìn)行明確編程，而是通過(guò)學(xué)習(xí)預(yù)測(cè)數(shù)十萬(wàn)個(gè)MIDI文件中的下一個(gè)標(biāo)記來(lái)發(fā)現(xiàn)和諧，節(jié)奏和風(fēng)格的模式。MuseNet使用與GPT-2相同的通用無(wú)監(jiān)督技術(shù)，GPT-2是一種大型變壓器模型，經(jīng)過(guò)訓(xùn)練可以預(yù)測(cè)序列中的下一個(gè)標(biāo)記(無(wú)論是音頻還是文本)。MuseNet使用Sparse Transformer的重新計(jì)算和優(yōu)化的內(nèi)核來(lái)訓(xùn)練具有24個(gè)關(guān)注頭的72層網(wǎng)絡(luò)-充分關(guān)注4096個(gè)令牌的上下文。如此長(zhǎng)的語(yǔ)境可能是它能夠記住片段中長(zhǎng)期結(jié)構(gòu)的原因之一。
其使命：
OpenAI的使命是確保人工智能(AGI)惠及全人類，人工智能(AGI)表示高度自主的系統(tǒng)，在大多數(shù)具有經(jīng)濟(jì)價(jià)值的工作中，它們要?jiǎng)龠^(guò)人類。該公司將嘗試直接建立安全有益的AGI，但如果他們的工作幫助其他人實(shí)現(xiàn)了這一目標(biāo)，也將認(rèn)為他們的使命已經(jīng)實(shí)現(xiàn)。
