這場大會上所展示的 AI 落地案例、AI 技術(shù)實踐以及 AI 的工業(yè)化應(yīng)用,都在強調(diào)一個事實:站在 2019 年 11 月的時間點去看,AI 之于各個行業(yè)的意義已經(jīng)不再是「是否有價值」,而是變成了「如何讓 AI 變得更有價值」。
與此同時,在 5G 商用元年,全新通訊技術(shù)帶來的巨大潛力,正在傳遞到產(chǎn)業(yè)的各個鏈條,而云計算的持續(xù)進化,已經(jīng)深刻影響到了從政府到大型企業(yè)的方方面面。
這也留給行業(yè)一個命題:當 5G、AI 與云共同定義了這個時代,各個行業(yè)應(yīng)用 AI 的第一步從哪里開始?
參與這場大會的華為云給出了自己的一個回答:利用華為云的全棧全場景 AI 能力,開發(fā)者、企業(yè)可以快速駛?cè)?AI 開發(fā)、部署與應(yīng)用的賽道。
據(jù)了解,此次大會上,華為云進一步展示了其全棧全場景的 AI 解決方案。具體來說,「全棧」指的是包括芯片、芯片使能、訓練和推理框架和應(yīng)用使能在內(nèi)的全堆棧方案;「全場景」則是將公有云、私有云、各種邊緣計算、物聯(lián)網(wǎng)行業(yè)終端以及消費類終端在內(nèi)的全場景納入到 AI 的部署環(huán)境中。
那么,如何進一步理解當下 AI 開發(fā)、部署的痛點,華為云全棧全場景的 AI 能力,又對開發(fā)者、企業(yè)有何意義?
接下來,我們來一一解讀。
1.AI 開發(fā)/部署所面臨的挑戰(zhàn)
對于任何一個行業(yè)來說,AI 開發(fā)、部署都是一個全新的挑戰(zhàn),而且這些挑戰(zhàn)也貫穿在 AI 開發(fā)、部署的始終。
首先,AI 算力需求旺盛且多樣化。自 2012 年以來,AI 計算能力需求早已超過摩爾定律,當模型越發(fā)復(fù)雜,當算力需求越來越大,開發(fā)者、企業(yè)所面臨的計算成本也在大幅上升。
另一方面,隨著物聯(lián)網(wǎng)以及即將到來的 5G 時代,AI 計算的場景也將變得多元化,從大型數(shù)據(jù)中心到迷你終端設(shè)備,不同場景下的計算需求、功耗成本以及計算延時也有著不同的需求。
這意味著,AI 開發(fā)者和企業(yè)需要強大、靈活以及多場景的算力。
其次,AI 框架與一站式 AI 平臺的需求。作為向下對接芯片、向上承載應(yīng)用的 AI 框架,業(yè)界目前流行的 TensorFlow 等,多為美國公司研發(fā)并開源出來的產(chǎn)品,且不說會不會受到國際大環(huán)境的影響,只談開源產(chǎn)品的本地化后續(xù)服務(wù),TensorFlow 等都很難直接適應(yīng)中國開發(fā)者的需求。
而面對 AI 人才短缺的現(xiàn)實,如何進一步降低 AI 開發(fā)門檻成為行業(yè)的迫切需求,更進一步,開發(fā)者和企業(yè)也需要一站式的 AI 開發(fā)環(huán)境,從而快速完成從數(shù)據(jù)標注到模型部署的一整套工作流程。
第三,云、邊、端的訓練和部署如何協(xié)同。這是一個擺在全行業(yè)面前的共同挑戰(zhàn), 相比于 AI 模型訓練為數(shù)不多的技術(shù)選型(GPU,數(shù)據(jù)中心),AI 模型部署對于開發(fā)者、企業(yè)而言更復(fù)雜。這是因為,AI 部署所面臨的是紛繁復(fù)雜的設(shè)備環(huán)境,特別是在移動設(shè)備、邊緣設(shè)備交織的業(yè)務(wù)場景里,如何高效完成模型從快速訓練到快速部署,成為各行各業(yè) AI 從業(yè)者關(guān)注的命題。
2.華為云如何破解算力難題?
在 ICT 領(lǐng)域耕耘多年的華為,面對 AI 領(lǐng)域開發(fā)、部署的難點、痛點,提出了自己的一番思考。
正如上文所言,AI 計算需求在過去七年里迎來大爆發(fā),根據(jù) OpenAI 的統(tǒng)計,自 2012 年至今,AI 算力需求增長了 30 萬倍。
這帶來兩個顯著變化:其一,傳統(tǒng)的 CPU 已經(jīng)無法承擔起 AI 計算的需求;其二,業(yè)界對于 GPU、FPGA 與 NPU 的需求開始上升。
這正是華為昇騰芯片出現(xiàn)的行業(yè)背景。通過底層創(chuàng)新性的「達芬奇架構(gòu)」,使得華為昇騰芯片具備了在端邊云上擁有統(tǒng)一的計算架構(gòu),由此帶來了不僅是計算能力的大幅提升,而且還可以實現(xiàn)算法一次開發(fā),再順利遷移到其他場景的芯片上的能力。
以今年正式發(fā)布的的昇騰 910 芯片為例,其主要面向數(shù)據(jù)中心的云端AI訓練,半精度 (FP16)算力達到256 Tera-FLOPS,整數(shù)精度 (INT8) 算力達到512 Tera-OPS,達到規(guī)格算力所需功耗僅310W,無論計算能力還是功耗,都屬業(yè)界領(lǐng)先水平。
與此同時,基于「達芬奇架構(gòu)」,華為在端、邊、云都已推出了相應(yīng)芯片,這些芯片構(gòu)成了華為 AI 能力的最底層:芯片層/利用華為云的調(diào)度能力,滿足開發(fā)者、企業(yè)不同場景中的計算需求,而公有云「用多少付多少錢」的商業(yè)模式,可以大幅降低企業(yè)的 AI 計算成本。
3.從框架到一站式開發(fā)平臺的賦能
在 AI 開發(fā)流程里,華為將 MindSpore 作為統(tǒng)一訓練和推理的開源框架。MindSpore 從設(shè)計開始,就確定了「AI 算法即代碼」的設(shè)計范式,可以大幅降低 AI 開發(fā)門檻;而在執(zhí)行模式中,基于 Ascend Native 的執(zhí)行引擎,能夠充分發(fā)揮昇騰芯片的強大算力;與此同時,MindSpore 還具備了適配端、邊、云的能力,在統(tǒng)一架構(gòu)的基礎(chǔ)上,根據(jù)場景不同可大可小,最大限度滿足企業(yè)場景需求,并提供更好的資源效率和隱私保護。
值得一提的是,MindSpore 未來也將全面開源,不同行業(yè)的開發(fā)者,完全可以根據(jù)其自身業(yè)務(wù)需求,靈活擴展和定制,將其應(yīng)用到更多硬件平臺之上,構(gòu)建自己的 AI 訓練模型。
在開源框架 MindSpore 之上,華為還擁有一站式 AI 開發(fā)平臺 ModelArts,這個平臺所肩負的,是如何為開發(fā)者/企業(yè)提供一整套基于云端的機器學習開發(fā)全流程服務(wù)。
2019 年 3 月份,ModelArts 在 AI 權(quán)威競賽斯坦福大學 DAWNBench 榜單中取得圖像識別訓練和推理性能雙料冠軍,將模型訓練時間大幅縮減的同時實現(xiàn)了超強推理性能。
來看一組具體數(shù)字,在訓練性能方面,ResNet50_on_ImageNet上的測試結(jié)果顯示,當采用128塊V100時,華為云ModelArts上模型訓練時間僅需4分08秒,與 2018年12月創(chuàng)下的9分22秒紀錄相比又快了一倍,比此前 fast.ai 在 AWS 平臺上的訓練速度快4倍;在推理性能方面,華為云ModelArts識別圖片的速度是排名第二廠商的1.7倍、亞馬遜的 4 倍以及 Google 的 9.1倍。
ModelArts 能取得這樣的成績,展現(xiàn)了其在機器學習平臺的技術(shù)優(yōu)化能力,通過技術(shù)創(chuàng)新降低機器學習平臺的使用成本,最終將技術(shù)紅利讓給企業(yè)和開發(fā)者。
值得一提的是,華為云 ModelArts 也踐行了華為公司「把復(fù)雜留給自己,把簡單帶個客戶」的理念,內(nèi)置了自動(機器)學習特性,通過算法實現(xiàn)模型訓練的參數(shù)自動化選擇和模型自動調(diào)優(yōu),讓零 AI 基礎(chǔ)的業(yè)務(wù)開發(fā)者快速完成模型的訓練和部署,甚至在一些場景中可以實現(xiàn)零代碼開發(fā) AI 模型。
比如在機器學習最耗時耗力的數(shù)據(jù)標注中,ModelArts 通過內(nèi)置 AI 數(shù)據(jù)框架,以 AI 機制來治理數(shù)據(jù),再通過迭代訓練解決標注的數(shù)據(jù)量問題,這在數(shù)據(jù)量較大的場景中可百倍提升數(shù)據(jù)標注效率。
再比如針對 AI 開發(fā)全流程管理,ModelArts 內(nèi)置了可視化管理模塊,可以幫助開發(fā)者快速了解模型訓練的進展,ModelArts 提供了從數(shù)據(jù)、算法、訓練、模型、服務(wù)全流程可視化管理,通過任意一個對象查看這個流程,真正做到了工作流的可視化。
值得一提的是,在技術(shù)創(chuàng)新到產(chǎn)品全流程思考之外,ModelArts 還在生態(tài)使能上有自己的思考。AI 市場就是其中一例,這是一個基于 ModelArts 構(gòu)建的開發(fā)者生態(tài)社區(qū),提供了 AI 模型、API 交易、數(shù)據(jù)、競賽案例等內(nèi)容共享功能。
在這個市場,不管是科研機構(gòu)還是 AI 應(yīng)用開發(fā)商、解決方案集成商,抑或是不同行業(yè)不同類型的企業(yè),都可以快速找到符合自身需求的技術(shù)或商業(yè)機會,有效連接 AI 開發(fā)生態(tài)鏈各參與方,加速 AI 產(chǎn)品的開發(fā)與落地,也保障了 AI 開發(fā)生態(tài)鏈上各個參與方的商業(yè)利益。
4. 高效可信的云端 AI 開發(fā)環(huán)境
如何將芯片帶來的計算能力與框架/平臺釋放的場景能力更便捷地交付給開發(fā)者,華為還為 AI 開發(fā)準備了一整套基于 CloudIDE 與 CodeHub 的高效可信開發(fā)環(huán)境。
首先,CloudIDE 定義了一種全新的在線編程體驗,開發(fā)者只需通過瀏覽器即可訪問云端集成的開發(fā)環(huán)境,無須擔心安裝過多軟件所帶來的本地資源消耗;其內(nèi)置了主流技術(shù)棧、支持 100 +語言的語法高亮,同時還能在線調(diào)試與在線運行;而利用云端按需獲取的方式,開發(fā)者可以靈活配置開發(fā)所需的計算與存儲資源,并根據(jù)需求彈性擴容。
與此同時,CloudIDE 與華為面向終端設(shè)備的 AppGallery Connect 形成了有效協(xié)同。對于移動設(shè)備開發(fā)者、企業(yè)的開發(fā)需求,可以提供包括計算、存儲、網(wǎng)絡(luò)、數(shù)據(jù)庫及 AI 在內(nèi)的等公有云資源,幫助開發(fā)者降低應(yīng)用開發(fā)部署的難度和成本,從而讓他們更專注于提升應(yīng)用體驗與打造優(yōu)質(zhì)內(nèi)容。
其次,華為云在開發(fā)代碼托管中做出了一系列創(chuàng)新,比如企業(yè)最關(guān)注的代碼安全性,華為云的 CodaHub 從訪問安全性到存儲安全性再到 對 Git-Crypt 的支持,全方面提升安全性。
更進一步,CodeHub 的代碼模版共享計劃,開發(fā)者或企業(yè),可以將自己的項目作為一個代碼模版開放出來,提供給行業(yè)共同使用,這不僅體現(xiàn)了「我為人人、人人為我」的開源精神,也可以讓更多開發(fā)者通過「站在巨人肩膀上」的方式,實現(xiàn)更多創(chuàng)新。
第三,DevCloud 上述兩大服務(wù)與 AI 開發(fā)的全面協(xié)同效應(yīng)。正如上文所言,CloudIDE 具備隨時可取云端開發(fā)資源的能力,這也意味著,利用 CloudIDE,開發(fā)者可以快速搭建 AI 開發(fā)環(huán)境,而通過 ModelArts SDK的樣例模板,可以快速構(gòu)建自己的項目。
在整個過程中,開發(fā)者和企業(yè)根據(jù)自己的業(yè)務(wù)需求,定制不同的計算/存儲資源,快速部署 AI 項目開發(fā)環(huán)境,然后引入 ModelArts 的 SDK,直接可以在 ModelArts 上完成訓練與部署的一站式開發(fā),其成本也僅僅是使用云服務(wù)的成本。
5.寫在最后:中國 AI 開發(fā)進入黃金時代
無論是將 AI 定義為第四次技術(shù)革命的主要技術(shù)還是將其看作為一種通用目的技術(shù),AI 之于各行各業(yè)的意義已經(jīng)在過去幾年初現(xiàn)出來——它將重構(gòu)眾多行業(yè)數(shù)十年甚至上百年的游戲規(guī)則,并帶來一次巨大的技術(shù)與商業(yè)創(chuàng)新。
這是技術(shù)帶來產(chǎn)業(yè)的新機遇。當國家層面的 AI 政策紅利不斷釋放,當我國的 AI 算法、學術(shù)研究屢次獲得國際贊譽,當各行各業(yè)開始擁抱 AI 的開發(fā)、部署與應(yīng)用,如何為 AI 開發(fā)落地提供一整套解決方案,無疑成為擺在中國科技巨頭們面前的重要課題。
華為云正是其中一個重要玩家。
基于「達芬奇架構(gòu)」芯片賦能,為整個 AI 領(lǐng)域不斷上漲的算力提供了解決方案,滿足開發(fā)者、企業(yè)對于 AI 強大算力、多場景算力的需求;利用 MindSpore 和 ModelArts 的場景賦能,在大幅降低 AI 開發(fā)門檻、加速企業(yè) AI 開發(fā)的同時,還將利用開源持續(xù)推進中國自研 AI 框架的發(fā)展;圍繞 CloudIDE 的云端開發(fā)環(huán)境,既可以釋放華為在 AI 芯片與 AI 框架的核心能力,還可以釋放華為云的產(chǎn)業(yè)紅利。
上述三個方面,構(gòu)成了觀察華為云全棧全場景 AI 戰(zhàn)略的一個橫切面。
華為依托自身在 ICT 領(lǐng)域的技術(shù)積累,過去幾年迅速形成了一套從數(shù)據(jù)中心到邊緣設(shè)備的 AI 軟硬產(chǎn)品線以及解決方案,從自研芯片到自主框架,從一站式開發(fā)平臺到云端開發(fā)集成環(huán)境,華為將一系列 AI 軟硬件產(chǎn)品以華為云公有云的方式使能各行各業(yè),加速各行各業(yè)步入 AI 開發(fā)、應(yīng)用的快車道,實現(xiàn)行業(yè)數(shù)字化、智能化的變革。
一個可能的場景是,隨著包括華為云在內(nèi)的中國 AI 基礎(chǔ)設(shè)施服務(wù)商的快速發(fā)展,未來中國最好的 AI 應(yīng)用一定是由中國 AI 芯片(昇騰芯片)驅(qū)動的 AI 框架與開發(fā)平臺(MindSpore+ModelArts)和云端開發(fā)環(huán)境(CloudIDE+CodeHub)所開發(fā),并運行在中國最領(lǐng)先的云服務(wù)之一(華為云鯤鵬云服務(wù))之上,這個屬于中國 AI 的黃金時代正在到來。