隨著人工智能技術(shù)的快速發(fā)展與廣泛應(yīng)用，相關(guān)專業(yè)人才缺口日益增大。
為了助力高校人工智能領(lǐng)域人才培養(yǎng)及學(xué)科建設(shè)，華為通過昇騰師資培訓(xùn)沙龍，面向廣大高校教師提供昇騰全棧全場景AI技術(shù)知識點培訓(xùn)。
在近日華為舉辦的昇騰師資培訓(xùn)沙龍 · 杭州場上，華為杭州研究所所長龐云光表示，構(gòu)建構(gòu)建萬物互聯(lián)的世界需要充足的算力，基于此，華為一直致力于打造鯤鵬和昇騰生態(tài)，通過培訓(xùn)讓高校成員也能接觸到鯤鵬和昇騰計算體系，為中國自主的計算產(chǎn)業(yè)打下良好基礎(chǔ)。
浙江大學(xué)計算機學(xué)院副院長、人工智能研究所所長吳飛教授認為，人工智能技術(shù)是引領(lǐng)新一輪科技革命、產(chǎn)業(yè)變革和社會發(fā)展的戰(zhàn)略性技術(shù)，具有溢出帶動性很強的頭雁效應(yīng)，高校一定要跟企業(yè)、政府聯(lián)合，才能推動人工智能人才的發(fā)展。
隨后，華為海思杭研分部部長王海彬介紹了“沃土高校教研扶持計劃”。其中的昇騰高校合作計劃，旨在幫助高校使用華為全棧AI的技術(shù)能力及算力資源，開展高校人工智能學(xué)科建設(shè)，培養(yǎng)產(chǎn)業(yè)轉(zhuǎn)型和創(chuàng)新發(fā)展所需要的新工科人才;而昇騰高校生態(tài)技術(shù)合作旨在幫助科研院所培養(yǎng)AI領(lǐng)域的研究創(chuàng)新人才，具體包括算子眾籌、模型市場、應(yīng)用案例等技術(shù)合作。
作為當天亮點演講之一，華為技術(shù)專家鮑翀介紹了MindSpore開源AI計算框架，他從整體框架、軟件架構(gòu)、關(guān)鍵技術(shù)和應(yīng)用場景四大層面進行了詳細解讀。
眾所周知，開發(fā)門檻高、運營成本高、部署時間長是AI從行業(yè)研究到場景應(yīng)用面臨的巨大挑戰(zhàn)。為了幫助開發(fā)者跨越應(yīng)用鴻溝，更簡單、高效實現(xiàn)AI應(yīng)用開發(fā)和部署，今年3月底開源的MindSpore框架，提出了新編程范式、新執(zhí)行模式、新協(xié)作方式三大技術(shù)創(chuàng)新。
MindSpore集成和借鑒了業(yè)界主流框架的優(yōu)勢，不過相比同類產(chǎn)品，MindSpore有三大特點：一是開發(fā)態(tài)友好，AI算法即代碼;運行高效，與昇騰芯片對接;部署靈活，全場景按需協(xié)同。架構(gòu)層面，MindSpore由MindSpore Extend、MindExpress、MindCompiler、MindRT等部分組成。此外，鮑翀著重介紹了MindSpore的自動并行、二階優(yōu)化、圖算融合、全場景部署和協(xié)同四大特性。
GitHub鏈接：https://gitee.com/mindspore/mindspore視頻回放：https://live.csdn.net/room/Hansen666666/74Jl5LcE
整體介紹
MindSpore對標的是TensorFlow，PyTorch，它對下通過CANN發(fā)揮芯片的能力，對上提供網(wǎng)絡(luò)編程API，以此開發(fā)AI應(yīng)用程序，并且支持ModelArts服務(wù)。
就其內(nèi)部而言，MindSpore的上層提供全場景的統(tǒng)一API，讓用戶基于MindSpore開發(fā)AI網(wǎng)絡(luò)，也可以用MindSpore的接口進行AI訓(xùn)練和推理執(zhí)行，其中提供的自動微分等AI基礎(chǔ)能力，實現(xiàn)AI算法即代碼。中間層會提供即時編譯器，通過對計算圖的編譯優(yōu)化，讓程序能在昇騰芯片上高效執(zhí)行，讓AI網(wǎng)絡(luò)發(fā)揮出其算力能力。同時，MindSpore是一體化的部署系統(tǒng)，支持端、云側(cè)的部署使用，并且能夠?qū)崿F(xiàn)分布式協(xié)同。
軟件架構(gòu)
MindSpore Extend是基于MindSpore的領(lǐng)域庫，用于構(gòu)建很多領(lǐng)域框架比如GNN、深度概率編程、微分方程等。 Model Zoo提供一些業(yè)界常用的網(wǎng)絡(luò)，用戶直接使用而無需重新開發(fā)。
MindExpress是一個Python前端，包含High-Level和Low-Level兩層API設(shè)計，High-Level API提供訓(xùn)練推理接口、混合精度、并行等控制接口，讓用戶實現(xiàn)整網(wǎng)流程的控制。Low-Level API提供基礎(chǔ)的Tensor、優(yōu)化器等API，而Executor則提供計算的執(zhí)行控制。
MindCompiler提供面向MindIR的圖級即時編譯能力，包括自動并行、二階優(yōu)化，也有硬件方面的優(yōu)化，可以讓程序在Ascend上高效執(zhí)行。它是MindSpore的一個重要的子系統(tǒng)。 MindIR是MindSpore的一個核心中間表達，通過嵌套式的表達，很簡便地支持不同語言的推導(dǎo)。
MindRT 子系統(tǒng)是一個統(tǒng)一的運行時系統(tǒng)，支持端、云多種設(shè)備形態(tài)，支持統(tǒng)一調(diào)度管理和內(nèi)存池化管理，這是復(fù)雜網(wǎng)絡(luò)能在異構(gòu)硬件上運行的關(guān)鍵技術(shù)。它可與昇騰芯片進行深度優(yōu)化，整圖下沉到卡上(on-device執(zhí)行)，減小host-device交互開銷，提高深度學(xué)習(xí)訓(xùn)練的效率。
MindData子系統(tǒng)負責(zé)高效執(zhí)行訓(xùn)練數(shù)據(jù)處理pipeline，與計算形成流水，數(shù)據(jù)及時導(dǎo)入訓(xùn)練。它的關(guān)鍵功能包括用流水線+并行方式，可提高數(shù)據(jù)處理吞吐量。還提供自研的數(shù)據(jù)格式MindRecord，自帶元數(shù)據(jù)，通過聚合存儲讓數(shù)據(jù)檢索更快。用戶還可以自定義Python算子，進行靈活定制。
MindInsight子系統(tǒng)是MindSpore的調(diào)試調(diào)優(yōu)子系統(tǒng)，提供訓(xùn)練過程可視化、模型溯源、debugger和性能profiling功能，用戶可以很方便觀測系統(tǒng)的執(zhí)行。
MindArmour子系統(tǒng)可針對可信AI的各個領(lǐng)域提供全面、有效、易用的評測工具和增強方法。一方面，它提供測試框架的建模，用一系列AI模型去驗證系統(tǒng)的安全性和隱私保護能力，另一方面，它對一些常用的AI工具提供了標準安全升級手段。
關(guān)鍵技術(shù)
簡單網(wǎng)絡(luò)的常規(guī)使用方法就是數(shù)據(jù)并行，但超大模型與超大數(shù)據(jù)集的分布式訓(xùn)練，需要通過數(shù)據(jù)并行+模型并行的混合并行方式，才能高效訓(xùn)練網(wǎng)絡(luò)。模型切分方式是復(fù)雜的，但對外提供簡單的API去描述。
在算法上，二階的計算量遠大于一階，二階優(yōu)化方法可以有效加速模型收斂，減少迭代次數(shù)，同時會引入大量復(fù)雜計算，限制其在深度模型訓(xùn)練中的廣泛應(yīng)用。MindSpore通過軟硬協(xié)同的高性能算子解決了二階信息矩陣逆矩陣的計算問題。
為了給用戶提供靈活可配的編程能力，需要一系列完備的細粒度表達的算子，但這并不意味著這些算子能在異構(gòu)硬件上以最高性能進行運行，這就需要一些融合能力。MindSpore對上通過細粒度算子，以提升編程的靈活性，對下通過其自動融合能力來提升性能進行平衡。
AI的商用是復(fù)雜的，既有云端大規(guī)模集群的訓(xùn)練，又有端側(cè)對于輕量級、高性能的追求。MindSpore提供了云、端側(cè)的訓(xùn)練和推理能力，并且使用了相同的算子和對外的接口，實現(xiàn)端、云協(xié)同執(zhí)行，同時提供在訓(xùn)練時的量化感知訓(xùn)練，訓(xùn)練出的模型可以直接部署在端側(cè)進行輕量化的推理，還具有混合執(zhí)行的能力。
目前，基于MindSpore的華為云訓(xùn)練服務(wù)，已部署在華為內(nèi)部各AI部門，而搭載HMS4.0/5.0的智能手機，使用了基于MindSpore的ML Kit，此外，MindSpore支撐華為數(shù)據(jù)通信網(wǎng)絡(luò)平臺實現(xiàn)智能控流，解決了擁塞精準控制難題。
還沒看過癮或想了解更多培訓(xùn)詳情?沒關(guān)系，還有機會。接下來，華為還將在武漢、上海、南京、成都4站繼續(xù)精彩培訓(xùn)課程!
數(shù)字化要一盤棋更要各自為戰(zhàn)
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。