如今，人工智能已成為普遍的流行語，但大多數(shù)消費者可能不知道它如何與日常生活息息相關。分析人員和技術新聞界中的某些人可能還會嘲笑該術語用于某些幾乎不像真正的人工智能的技術的頻率。也就是說，除了強大的數(shù)據(jù)中心外，還有一些平臺對于AI處理和驅動它們的NN(神經網絡)來說是很自然的。其中之一是AI推理(使用AI推理信息，而不是訓練NN)在邊緣和口袋中，使用智能手機。

就像您想象的那樣，從Android到Apple的智能手機平臺差別很大，但是語音-文本翻譯和推薦器引擎(例如Google Assistant和Siri)等常見工作負載大量使用了常見的AI NN模型，在設備上執(zhí)行此操作可提高速度和延遲。

衡量移動設備中的AI性能

隨著任何新設備的推出以及熱門新應用的出現(xiàn)，精通技術的消費者和技術媒體成員希望能夠衡量和收集各種移動生態(tài)系統(tǒng)中設備的相對性能。此外，目前智能手機測試和評論中的AI處理性能正在發(fā)展，因此，在主要的應用商店中當然會出現(xiàn)多種工具，這些工具聲稱能夠測量電話和其他移動設備的AI性能。而且-您猜對了-這些應用程序的創(chuàng)建肯定不盡相同。

為了解決這個問題，Marco和我深入研究了HotHardware，分析了三種主流AI基準測試中各種旗艦Android手機的性能，這些基準在某些情況下會產生截然不同的結果。

關鍵是要更好地了解實際測試的特定基準度量標準。測試是否代表盡可能接近實際的工作負載?理想的基準測試使用的是消費者可能會使用的實際應用程序，但短短的基準測試可以使用流行應用程序的相同核心軟件組件來代表實際的性能期望。在這種情況下，這意味著我們需要了解這些基準測試工具要針對哪些NN進行測試，以及要使用哪些數(shù)學精度和AI算法來處理這些工作量。

什么是AI基準測試的正確標準？

使移動設備具有良好的AI基準的原因是一個相對較深的細微差別，但總之是幾乎所有的移動NPU(神經處理單元或專用AI引擎)都采用INT8或量化數(shù)學精度或FP16浮點精度，例如利用ResNet-34或Google的DeepLab-v3等流行的NN在應用中進行圖像分類和分割。那是貓還是狗?該相機拍攝應采用哪種顏色平衡?這些問題是AI試圖從電話環(huán)境中推斷出答案的問題，至少在成像工作負載示例中，盡管還有很多其他問題。

當前，INT8精度被認為足以滿足大多數(shù)消費類移動應用的需求，并且壓縮技術和高級量化技術的進步繼續(xù)提高了移動設備上的INT8精度，同時仍然獲得了與FP16相比更低的功耗。FP16提供更好的精度，但在關鍵的智能手機功耗預算上成本更高。

結果，大多數(shù)支持AI的移動應用都采用INT8來提高電源效率。但是，并非所有可用的基準測試都以相同的方式權衡了移動平臺的性能。一些應用程序強調FP16的精度，即使實際上它的使用頻率不如INT8那樣高。此外，高通公司和其他公司的AI平臺SDK(軟件開發(fā)套件)針對INT 8進行了高度優(yōu)化。因此，問題來了，就這些手機的真實AI性能而言，其中一些基準測試應用程序的各種測試結果到底意味著什么?和其他移動設備?從HotHardware收集的分數(shù)中可以看出，高通和華為在一些領先的移動硅平臺上的排名大相徑庭。顯而易見，高通公司Snapdragon 865設備在INT8 NPU處理吞吐量方面以及在移動應用中可能更接近于當前的實際AI性能方面似乎占據(jù)了領先地位。還值得指出的是，高通的Snapdragon移動平臺目前還為美國絕大多數(shù)Android手機提供支持，因此該公司對生態(tài)系統(tǒng)的影響深遠。

分析師從移動AI的早期發(fā)展中汲取靈感

邊緣的人工智能和機器學習是一個瞬息萬變的領域，它提供的功能越來越強大且前景廣闊，將在許多方面豐富我們的日常生活。結果，基準指標和用于衡量它們的應用程序也將必須隨著時間的推移而發(fā)展和變化。此外，與傳統(tǒng)的PC基準一樣，新聞，技術愛好者和精明的消費者將在未來幾天內更加關注AI基準，因為AI成為移動體驗和可用平臺解決方案中更為重要的組成部分市場。

因此，這些基準應用程序開發(fā)人員和媒體將有責任對構成優(yōu)質移動AI基準的精要點以及對您自己的個人口袋AI助手的性能進行更真實的衡量。現(xiàn)在，如果基準測試沒有采用常用的NN并切實代表INT8精度的重要性，您就不得不質疑該測試對普通消費者的價值。但是，這里沒有絕對值。當前的格局正在以這種方式形成，但AI技術又以瘋狂的步伐發(fā)展，整個行業(yè)的其余部分將需要跟上發(fā)展。