華為昇騰師資培訓沙龍杭州場 | MindSpore開源框架公開四大關鍵特性
責任編輯：xfuesx |來源：企業網D1Net 2020-08-19 16:45:06
本文摘自：CSDN
隨著人工智能技術的快速發展與廣泛應用，相關專業人才缺口日益增大。
為了助力高校人工智能領域人才培養及學科建設，華為通過昇騰師資培訓沙龍，面向廣大高校教師提供昇騰全棧全場景AI技術知識點培訓。
在近日華為舉辦的昇騰師資培訓沙龍 · 杭州場上，華為杭州研究所所長龐云光表示，構建構建萬物互聯的世界需要充足的算力，基于此，華為一直致力于打造鯤鵬和昇騰生態，通過培訓讓高校成員也能接觸到鯤鵬和昇騰計算體系，為中國自主的計算產業打下良好基礎。
浙江大學計算機學院副院長、人工智能研究所所長吳飛教授
浙江大學計算機學院副院長、人工智能研究所所長吳飛教授認為，人工智能技術是引領新一輪科技革命、產業變革和社會發展的戰略性技術，具有溢出帶動性很強的頭雁效應，高校一定要跟企業、政府聯合，才能推動人工智能人才的發展。
隨后，華為海思杭研分部部長王海彬介紹了“沃土高校教研扶持計劃”。其中的昇騰高校合作計劃，旨在幫助高校使用華為全棧AI的技術能力及算力資源，開展高校人工智能學科建設，培養產業轉型和創新發展所需要的新工科人才；而昇騰高校生態技術合作旨在幫助科研院所培養AI領域的研究創新人才，具體包括算子眾籌、模型市場、應用案例等技術合作。
作為當天亮點演講之一，華為技術專家鮑翀介紹了MindSpore開源AI計算框架，他從整體框架、軟件架構、關鍵技術和應用場景四大層面進行了詳細解讀。
眾所周知，開發門檻高、運營成本高、部署時間長是AI從行業研究到場景應用面臨的巨大挑戰。為了幫助開發者跨越應用鴻溝，更簡單、高效實現AI應用開發和部署，今年3月底開源的MindSpore框架，提出了新編程范式、新執行模式、新協作方式三大技術創新。
MindSpore集成和借鑒了業界主流框架的優勢，不過相比同類產品，MindSpore有三大特點：一是開發態友好，AI算法即代碼；運行高效，與昇騰芯片對接；部署靈活，全場景按需協同。
架構層面，MindSpore由MindSpore Extend、MindExpress、MindCompiler、MindRT等部分組成。此外，鮑翀著重介紹了MindSpore的自動并行、二階優化、圖算融合、全場景部署和協同四大特性。
https://gitee.com/mindspore/mindspore
https://live.csdn.net/room/Hansen666666/74Jl5LcE
MindSpore對標的是TensorFlow，PyTorch，它對下通過CANN發揮芯片的能力，對上提供網絡編程API，以此開發AI應用程序，并且支持ModelArts服務。
就其內部而言，MindSpore的上層提供全場景的統一API，讓用戶基于MindSpore開發AI網絡，也可以用MindSpore的接口進行AI訓練和推理執行，其中提供的自動微分等AI基礎能力，實現AI算法即代碼。
中間層會提供即時編譯器，通過對計算圖的編譯優化，讓程序能在昇騰芯片上高效執行，讓AI網絡發揮出其算力能力。
同時，MindSpore是一體化的部署系統，支持端、云側的部署使用，并且能夠實現分布式協同。
MindSpore Extend是基于MindSpore的領域庫，用于構建很多領域框架比如GNN、深度概率編程、微分方程等。
Model Zoo提供一些業界常用的網絡，用戶直接使用而無需重新開發。
MindExpress是一個Python前端，包含High-Level和Low-Level兩層API設計，High-Level API提供訓練推理接口、混合精度、并行等控制接口，讓用戶實現整網流程的控制。Low-Level API提供基礎的Tensor、優化器等API，而Executor則提供計算的執行控制。
MindCompiler提供面向MindIR的圖級即時編譯能力，包括自動并行、二階優化，也有硬件方面的優化，可以讓程序在Ascend上高效執行。它是MindSpore的一個重要的子系統。
MindIR是MindSpore的一個核心中間表達，通過嵌套式的表達，很簡便地支持不同語言的推導。
MindRT 子系統是一個統一的運行時系統，支持端、云多種設備形態，支持統一調度管理和內存池化管理，這是復雜網絡能在異構硬件上運行的關鍵技術。它可與昇騰芯片進行深度優化，整圖下沉到卡上（on-device執行），減小host-device交互開銷，提高深度學習訓練的效率。
MindData子系統負責高效執行訓練數據處理pipeline，與計算形成流水，數據及時導入訓練。它的關鍵功能包括用流水線+并行方式，可提高數據處理吞吐量。還提供自研的數據格式MindRecord，自帶元數據，通過聚合存儲讓數據檢索更快。用戶還可以自定義Python算子，進行靈活定制。
MindInsight子系統是MindSpore的調試調優子系統，提供訓練過程可視化、模型溯源、debugger和性能profiling功能，用戶可以很方便觀測系統的執行。
MindArmour子系統可針對可信AI的各個領域提供全面、有效、易用的評測工具和增強方法。一方面，它提供測試框架的建模，用一系列AI模型去驗證系統的安全性和隱私保護能力，另一方面，它對一些常用的AI工具提供了標準安全升級手段。
簡單網絡的常規使用方法就是數據并行，但超大模型與超大數據集的分布式訓練，需要通過數據并行+模型并行的混合并行方式，才能高效訓練網絡。模型切分方式是復雜的，但對外提供簡單的API去描述。
在算法上，二階的計算量遠大于一階，二階優化方法可以有效加速模型收斂，減少迭代次數，同時會引入大量復雜計算，限制其在深度模型訓練中的廣泛應用。MindSpore通過軟硬協同的高性能算子解決了二階信息矩陣逆矩陣的計算問題。
為了給用戶提供靈活可配的編程能力，需要一系列完備的細粒度表達的算子，但這并不意味著這些算子能在異構硬件上以最高性能進行運行，這就需要一些融合能力。MindSpore對上通過細粒度算子，以提升編程的靈活性，對下通過其自動融合能力來提升性能進行平衡。
AI的商用是復雜的，既有云端大規模集群的訓練，又有端側對于輕量級、高性能的追求。MindSpore提供了云、端側的訓練和推理能力，并且使用了相同的算子和對外的接口，實現端、云協同執行，同時提供在訓練時的量化感知訓練，訓練出的模型可以直接部署在端側進行輕量化的推理，還具有混合執行的能力。
目前，基于MindSpore的華為云訓練服務，已部署在華為內部各AI部門，而搭載HMS4.0/5.0的智能手機，使用了基于MindSpore的ML Kit，此外，MindSpore支撐華為數據通信網絡平臺實現智能控流，解決了擁塞精準控制難題。
還沒看過癮或想了解更多培訓詳情？沒關系，還有機會。接下來，華為還將在武漢、上海、南京、成都4站繼續精彩培訓課程！
京公網安備 11010502049343號