深度學習在互聯網的驅動下正在日益發展,而深度學習對于計算的需求是巨大的,所以深度學習與高性能計算具有天然的聯系。在近日的中科曙光技術創新大會上,中科曙光聯合中國科學院計算技術研究所以及NVIDIA公司共同簽署了深度學習聯合實驗室成立備忘錄。同時,曙光也發布了X System平臺——包括深度學習軟件XSharp和XMachine系列深度學習一體機。
曙光和NVIDIA的合作其實并不出人意外,因為在NVIDIA專業解決方案2015戰略發布會上,筆者已經看到了曙光和NVIDIA在深度學習領域的合作。在當時的發布會上,NVIDIA全球副總裁、PSG兼云計算業務中國區總經理潘迪就表示,NVIDIA是一個技術型的公司,NVIDIA與生態鏈伙伴一直在積極互動,客戶最終關心的是一個整體的解決方案,所以在中國,NVIDIA與曙光、浪潮、聯想等合作伙伴拓展GPU的應用場景。
NVIDIA全球副總裁、PSG兼云計算業務中國區總經理潘迪
曙光信息產業股份有限公司副總裁沙超群
在發布會上,曙光信息產業股份有限公司副總裁沙超群也被邀請進行了主題演講,沙超群當時就透露了曙光將與NVIDIA進一步合作,針對不同企業在深度學習訓練方面的需求,定制專門優化的訓練硬件設備。所以這也就為曙光和NVIDIA在中科曙光技術創新大會上的合作埋下了伏筆。
其實曙光和NVIDIA的合作由來已久,曙光在HPC產品上應用GPU加速計算的研究非常廣泛。在高性能計算層面,雙方實現了優勢互補。中科曙光擁有豐富的產品線,而NVIDIA在GPU技術、CUDA算法、GPU數學庫等方面的優勢也非常明顯。所以雙方在深度計算方面的合作空間是巨大的。
目前國內企業對機器學習的研究與應用,更多局限于互聯網用戶,很多中小企業多是望其項背。聯合實驗室三方希望降低企業的入門難度,將深度學習技術進行全面推廣,更加切實有效的推動深度學習技術在國內的發展。
在具體的戰略模式上,三方表示,將根據市場需求做出多種選擇。針對正在使用深度學習的互聯網公司,合作開發是主旋律。大公司科研能力強,聯合實驗室在異構計算、并行計算等算法領域可以提供更多幫助。而面向中小企業,深度學習云服務產品則更易實現。曙光公司總裁助理、高性能計算產品事業部經理曹振南說,我們計劃依托曙光國家級云中心在全國范圍內的部署,為一些中小型企業提供面向深度學習和人工智能的云服務。因為我們很清晰的看到,深度學習的客戶絕不僅僅只有以BAT為代表的企業。
針對一些行業對云安全問題心存顧慮,并不愿意把數據通過云的模式進行智能分析。三方實驗室提供定制化的軟硬件產品,也就是X System平臺——包括深度學習軟件XSharp和XMachine系列深度學習一體機。
聯合實驗室成立備忘錄簽署的同時,曙光深度學習XSystem系統也同時發布。該系統包含深度學習XSharp軟件棧和XMachine硬件平臺,是專為用戶提供的一體化的深度學習軟硬件整體解決方案。借助一體化平臺,用戶可以快速進入深度學習領域。這套系統目前已經實現產品化,現在已經有終端的用戶在這個框架上做出了一些研究。
XSharp產品理念以用戶應用為主,科研為輔,更多面向企業用戶的實際應用。同時,XSharp軟件棧各模塊可以隨意組合,按照用戶應用進行裁剪,滿足不同需求。而作為整個系統的硬件平臺,XMachine深度學習一體機特別為深度學習定制開發,提供多種類型GPU服務器供選擇,原生態支持NVIDIA DIGITS開發環境,可大大降低用戶進入深度學習領域的軟件投入成本。
XMachine深度學習一體機其實就是曙光和NVIDIA合作的具體落地。DIGITS是一個NVIDIA開源的深度學習平臺,DIGITS可在安裝、配置和訓練深度神經網絡過程中為用戶提供指導,處理復雜的工作好讓科學家能專心在研究活動和結果上。得益于其直觀的用戶界面和強大的工作流程管理能力,不論是在本地系統還是在網絡上使用DIGITS,準備和加載訓練數據集都相當簡單。這是同類系統中首個提供實時監控和可視化功能的系統,用戶可以對工作進行微調。
而且NVIDIA深度學習工程團隊為了自己的研發工作而開發的DIGITS DevBox,是一套集多項功能于一身的平臺,能夠加快深度學習的研究活動。其實DIGITS DevBox已經預先安裝了數據科學家和研究人員在開發自己的深度神經網絡時,所需要使用到的各種軟件。所以可以看出來XMachine深度學習一體機和DIGITS DevBox類似,就是為用戶提供預配置的深度學習一體化開發平臺,幫助用戶實現深度學習的敏捷開發。
總之,曙光和NVIDIA的合作加速了深度學習市場的發展,憑借NVIDIA在GPU方面的技術優勢以及中科曙光在高性能計算市場的多年耕耘,中國的深度學習市場將迎來快速發展的階段。