Nvidia正在推出一個(gè)名為EGX平臺(tái)的新平臺(tái),旨在為邊緣網(wǎng)絡(luò)提供實(shí)時(shí)人工智能(AI)。我們的想法是讓AI計(jì)算更接近傳感器在發(fā)送到大型數(shù)據(jù)中心之前收集數(shù)據(jù)的位置。
邊緣用作發(fā)送到數(shù)據(jù)中心的數(shù)據(jù)的緩沖區(qū)。它對(duì)所收集的數(shù)據(jù)進(jìn)行了優(yōu)化,只發(fā)送與主要數(shù)據(jù)中心相關(guān)的內(nèi)容進(jìn)行處理。這可能意味著丟棄超過(guò)90%的收集數(shù)據(jù),但訣竅是知道要保留哪些數(shù)據(jù)以及丟棄哪些數(shù)據(jù)。
“在這個(gè)數(shù)據(jù)驅(qū)動(dòng)的世界中需要AI,”Nvidia企業(yè)和邊緣計(jì)算高級(jí)主管Justin Boitano在上周五的新聞發(fā)布會(huì)上表示。“我們分析源頭附近的數(shù)據(jù),捕獲異常情況并將異常情況報(bào)告給母艦進(jìn)行分析。”
Boitano說(shuō),我們正在進(jìn)行交叉,因?yàn)檫吘売?jì)算比云計(jì)算更多,因?yàn)槟抢镄枰龈嗟墓ぷ鳌?/p>
EGX來(lái)自14家服務(wù)器供應(yīng)商,提供各種外形尺寸,將AI與網(wǎng)絡(luò),安全性和Mellanox存儲(chǔ)相結(jié)合。Boitano表示,這些機(jī)架適用于任何符合行業(yè)標(biāo)準(zhǔn)的機(jī)架,因此它們可以裝入Vapor IO和Schneider Electric等邊緣容器中。
EGX使用Nvidia的低功耗Jetson Nano處理器,同時(shí)也一直使用Nvidia T4處理器,可以提供超過(guò)10,000萬(wàn)億次操作(TOPS)的實(shí)時(shí)語(yǔ)音識(shí)別和其他實(shí)時(shí)AI任務(wù)。
Nvdia正在開(kāi)發(fā)名為Nvidia Edge Stack的軟件堆棧,可以不斷更新,軟件在容器中運(yùn)行,因此不需要重新啟動(dòng),只需重新啟動(dòng)容器即可。EGX運(yùn)行企業(yè)級(jí)Kubernetes容器平臺(tái),如Red Hat Openshift。
Edge Stack是優(yōu)化的軟件,包括Nvidia驅(qū)動(dòng)程序,CUDA Kubernetes插件,CUDA容器運(yùn)行時(shí),CUDA-X庫(kù)和容器化AI框架和應(yīng)用程序,包括TensorRT,TensorRT推理服務(wù)器和DeepStream。
該公司擁有40多家早期采用者,其中包括寶馬集團(tuán)物流公司,該公司使用EGX和自己的Isaac機(jī)器人平臺(tái),以實(shí)時(shí)高效處理日益復(fù)雜的物流。