今天是MLPerf Inference基準(zhǔn)測(cè)試結(jié)果的第二輪發(fā)布(0.7版)。與7月份宣布的最新培訓(xùn)結(jié)果一樣，新的推論數(shù)字表明提交的公司數(shù)量有所增加，支持的平臺(tái)和工作負(fù)載也有所增加。MLPerf推斷編號(hào)分為四類(lèi)-數(shù)據(jù)中心，邊緣，移動(dòng)和筆記本。提交的數(shù)量從43個(gè)增加到327個(gè)，提交的公司數(shù)量從僅僅9個(gè)增加到21個(gè)。提交的公司包括半導(dǎo)體公司，設(shè)備OEM和幾個(gè)測(cè)試實(shí)驗(yàn)室。這輪提交的明顯遺漏包括Google和所有中國(guó)公司，包括先前的參與者阿里巴巴和騰訊。
作為快速更新，MLPerf是一個(gè)行業(yè)協(xié)會(huì)，旨在開(kāi)發(fā)機(jī)器學(xué)習(xí)(ML)/人工智能(AI)解決方案的標(biāo)準(zhǔn)。MLPerf是一組基準(zhǔn)測(cè)試的匯編，用于測(cè)量ML / AL硬件，軟件和服務(wù)的訓(xùn)練和推理性能。最新的Inference v0.7結(jié)果僅是第二次發(fā)布推理結(jié)果。第一次是大約一年前。MLPerf組織正在不斷努力，以代表真實(shí)AI工作負(fù)載的新模型或增強(qiáng)模型來(lái)增強(qiáng)基準(zhǔn)套件。此外，該組織正在努力提高測(cè)試頻率，以每年至少兩次為目標(biāo)，正在考慮允許在主要版本之間發(fā)布測(cè)試結(jié)果，并努力添加其他限定詞，例如用于評(píng)估AI平臺(tái)效率的功耗數(shù)據(jù)。測(cè)試結(jié)果可以由電子價(jià)值鏈中的任何公司提供，并可以進(jìn)行隨機(jī)審核。
每個(gè)細(xì)分類(lèi)別都包括一個(gè)“封閉”和“開(kāi)放”細(xì)分。“封閉”部分是指使用與參考模型相同的工作量模型運(yùn)行的測(cè)試。“開(kāi)放”部分允許更改模型，以便供應(yīng)商可以展示相對(duì)于其他目標(biāo)工作負(fù)載的性能。此外，還有一些細(xì)分市場(chǎng)-當(dāng)前市場(chǎng)上的產(chǎn)品“可用”，未來(lái)六個(gè)月內(nèi)市場(chǎng)上的產(chǎn)品的“預(yù)覽”，以及仍在開(kāi)發(fā)中或剛剛考慮的產(chǎn)品的“研究，開(kāi)發(fā)或內(nèi)部”實(shí)驗(yàn)室項(xiàng)目。為了保持一致，我們大多數(shù)分析都集中在封閉和可用的細(xì)分上。在某些情況下，產(chǎn)品沒(méi)有所有測(cè)試的編號(hào)，因?yàn)闆](méi)有提交編號(hào)或無(wú)法達(dá)到最低99%的準(zhǔn)確度等級(jí)。由于基準(zhǔn)套件不斷變化，在套件達(dá)到更成熟的狀態(tài)之前，將數(shù)字與以前的結(jié)果進(jìn)行比較并不是特別有用。但是，從結(jié)果中可以收集到很多東西。
對(duì)于數(shù)據(jù)中心應(yīng)用，推理0.7v測(cè)試包括四個(gè)新基準(zhǔn)測(cè)試-代表自然語(yǔ)言處理工作負(fù)載的雙向編碼器表示和轉(zhuǎn)換(BERT)，代表推薦工作負(fù)載的深度學(xué)習(xí)推薦模型(DLRM)，代表醫(yī)學(xué)成像的3D U-Net工作量，以及代表語(yǔ)音到文本工作量的遞歸神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換器(RNN-T)。在封閉類(lèi)別中，結(jié)果類(lèi)似于7月份發(fā)布的培訓(xùn)測(cè)試結(jié)果。加速平臺(tái)在性能上大大超過(guò)了純CPU平臺(tái)，領(lǐng)先的加速器是GPU，領(lǐng)先的GPU則是英偉達(dá)基于Ampere架構(gòu)的新型A-100 GPU。在每個(gè)工作負(fù)載中，前任領(lǐng)導(dǎo)者特斯拉(T4)GPU的性能提升顯然是顯而易見(jiàn)的。這證明了Ampere架構(gòu)的價(jià)值，該架構(gòu)允許在單個(gè)GPU上進(jìn)行七個(gè)推理分區(qū)。在其他加速器方面，僅Xilinx FPGA代表并且僅在開(kāi)放類(lèi)別中。
