中國人工智能(MAI)公司Megvii今天宣布,它已開源其深度學(xué)習(xí)框架MegEngine,該框架是新一代AI生產(chǎn)力平臺Brain ++的核心。
MegEngine是Megvii自己內(nèi)部使用的算法訓(xùn)練和推理引擎。它由三名Megvii實習(xí)生于2013年創(chuàng)立,并于2014年正式啟動。
這個自主開發(fā)的深度學(xué)習(xí)框架支持Megvii在過去六年中在國際AI競賽中的表現(xiàn)以及公司產(chǎn)品和業(yè)務(wù)的實施。目前,它為Megvii研究所的1,400多名AI開發(fā)人員提供服務(wù)。
在新聞發(fā)布會上,Megvii的聯(lián)合創(chuàng)始人兼CTO Tang Wenbin正式宣布MegEngine的代碼是開源的,并指出這是一組將培訓(xùn)和推理,動態(tài)和靜態(tài)集成在一起的工業(yè)級深度學(xué)習(xí)框架。 。
在傳統(tǒng)的深度學(xué)習(xí)研發(fā)中,從原型到生產(chǎn)部署的產(chǎn)品通常需要分別設(shè)計和調(diào)用訓(xùn)練框架和推理框架。
這會導(dǎo)致在訓(xùn)練和模型推斷的轉(zhuǎn)換過程中出現(xiàn)無法解釋的性能或準確性損失,這要求開發(fā)人員進行手動優(yōu)化,并且無法追溯當(dāng)算法部署在計算平臺上時發(fā)生的各種問題。
MegEngine框架避免了此類問題。通過訓(xùn)練與推理的集成,可以省去模型轉(zhuǎn)換的過程,可以直接推斷出訓(xùn)練后的模型,并且可以跨設(shè)備調(diào)整模型的準確性。
同時,MegEngine具有內(nèi)置的自動模型優(yōu)化功能和簡化的流程,從而減少了手動操作的機會并降低了出錯的可能性。
此外,MegEngine配備了Python和C ++接口,支持動態(tài)圖,靜態(tài)圖一鍵轉(zhuǎn)換和混合編程,并且可以使用高級編程語言進行圖優(yōu)化和圖編譯。
在運行時管理中,MegEngine具有執(zhí)行流程和調(diào)度程序。它使用動態(tài)和靜態(tài)內(nèi)存分配來共存,并且可以通過自動亞線性內(nèi)存管理優(yōu)化器獲得更好的內(nèi)存優(yōu)化結(jié)果。
在基礎(chǔ)設(shè)計中,MegEngine的計算內(nèi)核與主流計算設(shè)備兼容,并支持多機多卡和分布式培訓(xùn)。
為了解決模型再現(xiàn)困難的問題,MegEngine支持導(dǎo)入PyTorch Module,可以針對計算機視覺任務(wù)對其進行優(yōu)化。
目前,Megvii已在OpenI Qizhi社區(qū)和開源社區(qū)GitHub(中國的新一代人工智能開源平臺)上發(fā)布了MegEngine Alpha版本的源代碼。
開發(fā)人員還可以使用MegEngine官方網(wǎng)站上的在線深度學(xué)習(xí)工具來自由調(diào)用計算能力,獲取最新的數(shù)據(jù)集和培訓(xùn)腳本以及進行簡單的培訓(xùn)和試用。
同時,Megvii為MegEngine的開發(fā)人員準備了算法預(yù)訓(xùn)練模型ModelHub,以支持開箱即用的開發(fā)人員。
對于開源之后的MegEngine框架的開發(fā)計劃,Megvii透露它將在技術(shù)貢獻者的幫助下于6月推出beta版本。