云計算特有的優點和巨大的商業前景,讓其成為了近年來的IT界最熱門詞匯之一。當然,這也與中國移動互聯網的繁榮緊密相關,它們需要有相應的云計算服務作為支撐。但本文作者祁海江結合自身的經驗,對國內目前的云計算服務進行觀察后認為,國內云服務商多數采用過于簡單粗放的“遠程機房+移動大硬盤”模式,不能滿足并行圖形處理的計算需求,“應盡快認清技術潮流,整合前沿計算工具,以便推進云GPU并行計算服務。”那么云GPU并行計算服務有多重要?作者在文中作了深入淺出的解讀,字里行間也能一窺國內云服務的夸大與事實上的落后現狀。
很長時間以來,云計算成了一個熱鬧詞匯。那么到底什么是云計算呢?它本質上是一種社會智力資源的共享,通過云端的技術封包,降低了難度門檻,使得更多用戶可以采用的一種“很難很先進”的技術。
這種技術可以應用到什么地方呢?我們看到現在中國的移動互聯新經濟高度繁榮,這就需要有相應技術高度的云計算服務作為龍骨支撐。但現在中國的云服務商多數采用過于簡單粗放的“遠程機房+移動大硬盤”模式,不能滿足并行圖形處理的計算需求。按照當今計算技術的趨向看——“視頻音圖+3D+規模機器學習+大數據分析=》高強度計算任務=》云GPU并行運算”,運營商應盡快認清技術潮流,整合前沿計算工具,以便推進云GPU并行計算服務。這是因為:
1. 現行的圖形、圖像及3D計算在各種視頻游戲、電影產業、工業設計、醫療成像、空間探索、遠程通訊等方面有著廣泛的應用。
隨著計算機技術的發展,人們對圖形和圖像的處理要求也越來越高,尤其現在興起的3D技術,使圖形圖像處理和3D計算已經應用到了各種視頻游戲,電影產業,醫療成像,空間探索,遠程通信等各個方面。
現在風靡的大型3D游戲,諸如《使命召喚》《極品飛車》等,這些游戲畫面逼真,3D特效強烈,所以要求計算機對圖形圖像的處理能力要求也非常高。2010年放映的電影《阿凡達》開創了動畫形象代替了演員的3D電影的先河,它完美的運用了3D立體畫面的創造了逼真的效果使畫面美輪美奐。在工業設計上,有很多廣為人們熟知的3D處理軟件,例如AutoCAD,Maya,SolidWorks等知名軟件。在醫療成像方面,3D/4D立體成像技術,使醫護人員可以獲得從傳統平面顯示無法捕捉到的信息數據,能夠360度全方位立體讀取影像信息,為臨床診斷提供了更豐富、精準的影像資料,大幅度降低了對病灶的漏診,提高了診療質量,必將掀起醫療影像信息處理的一次技術革命。
伴隨著IT互聯網以及手持終端的發展和普及,要處理的數據量的爆發式增長,手機上也出現了3D游戲的發展趨勢,這些都對數據圖像和3D計算提出了更多的需求。
由此看來,目前對圖形圖像以及3D計算的巨大需求,已經要求計算機需要具備強大的3D建模能力,然而CPU的串行處理能力遠不能滿足高效的處理圖像以及3D計算的能力,因此并行計算技術的使用日益廣泛。
2. 以美國NVIDIA公司圖形顯示卡的CUDA運算包為代表的GPU并行運算技術,已成為工作站、服務器、個人電腦的標準組件。
GPU是電腦圖形顯示卡上負責圖像運算工作的微處理器。著名的顯示卡公司NVIDIA為其主流顯卡產品設計了專門的GPU并行計算工具包,稱之為CUDA(Compute Unified Device Architecture,統一計算架構)。
以GeForce 8800 GTX為例,其核心擁有128個內處理器。利用CUDA技術,就可以將那些內處理器串通起來,成為線程處理器去解決數據密集的計算。而各個內處理器能夠交換、同步和共享數據。利用NVIDIA的C-編譯器,通過驅動程序,就能利用這些功能。亦能成為流處理器,讓應用程序利用進行運算。GeForce 8800 GTX顯示卡的運算能力可達到520GFlops,如果建設SLI系統,就可以達到1TFlops。
有軟件廠商利用CUDA技術,研發了一個Adobe Premiere Pro的插件。通過插件,用戶就可以利用顯示核心去加速H.264/MPEG-4 AVC的編碼速度。速度是單純利用CPU作軟件加速的7倍左右。
NVIDIA從所有基于G80及之后架構的民用與專業顯卡或運算模塊皆支持CUDA技術。整體運算能力比單純利用CPU的速度提高7倍甚至更高。Tesla GPU是針對工作站和服務器的加速器,與消費級顯卡和專業圖形卡相比,具有完整的雙精度浮點運算性能,具備雙DMA引擎可滿足雙向PCIe通信,板載內存達到12G(Tesla K40 GPU),具有專門的 Linux 補丁、InfiniBand 驅動程序以及 CUDA 驅動程序,針對 Windows 操作系統的 CUDA 驅動程序可實現更高性能,TCC 驅動程序可減少 CUDA 內核的系統總開銷并支持遠程桌面 (Windows Remote Desktop) 以及 Windows 服務
3.以CUDA為代表的GPU并行計算技術,在多個領域已發揮重要作用
在科研界,CUDA應用廣泛。例如,CUDA現已能夠對AMBER進行加速。AMBER是一款分子動力學模擬程序,全世界在學術界與制藥企業中有超過60,000名研究人員使用該程序來加速新藥的探索工作。
在金融市場,Numerix以及CompatibL針對一款全新的對手風險應用程序發布了CUDA支持并取得了18倍速度提升。Numerix為近400家金融機構所廣泛使用。
在消費級市場上,幾乎每一款重要的消費級視頻應用程序都已經使用CUDA加速或很快將會利用CUDA來加速,其中不乏Elemental Technologies公司、MotionDSP公司以及LoiLo公司的產品。
4.NVIDIA公司非常重視GPU并行計算在云服務器上的嫁接,美國已有數家云服務商提供GPU并行的云計算服務。
2009年10月20日,NVIDIA與Mental images聯合推出一款基于云計算的高端服務器——RealityServer。
2012年5月17日,NVIDIA推出利用GPU加速云計算技術。
2012年10月17日,NVIDIA推出了首款云計算虛擬GPU加速平臺——VGX K2。
2013年GTC大會上,NVIDIA帶來了在云計算領域最新的產品服務器平臺——NVIDIA GRID。
隨后幾年時間里,美國多家服務器廠商推出了各自的基于GPU并行計算的云服務平臺。現在提供GPU云計算的服務提供商主要有Amazon,Nimbix,Peer 1 Hosting。
5.一個讓人十分費解的局面是,國內各大云服務提供商(諸如阿里云、盛大云、萬網云)似乎對GPU并行計算沒有任何動作。
自從云計算的概念提出,迅速在中國IT界形成了熱點,大大小小的云服務商如雨后春筍般出現。幾大云服務商以各種名目強調自身特色的云計算服務組合,如阿里云的“飛天”平臺;百度BAE云平臺;浪潮集團建立的HPC/IDC、媒體云、教育云;華為公司彈性云計算FusionCloud戰略;騰訊云生態系統;華云數據公司推出的運營型PaaS平臺。
然而在形形色色的各種名號之下,各家公司的服務內容非常同質化,基本都是網絡存儲+虛擬CPU計算時段租用的模式。對用戶真正的運算需求理解挖掘不夠,往往只是把一些淺層的PC功能簡單轉移到云端,對于復雜度高、維護難度大的運算功能未能提供虛擬層的解決方案。換句話說,凡是用戶在PC端已經能輕松愉快做的事(比如辦公軟件),云服務商不厭其煩的去勸說用戶將其轉移到云端,而中小企業用戶感到力不從心、真正需要幫助的具有技術難度的運算功能,云服務商就一問三不知了。
近期,筆者單位由于為客戶開發的應用涉及高強度的數據處理,需要并行運算。我們與多個云服務商接洽,均未見有提供GPU并行運算服務。這是一個讓人難以理解的局面,電話聯系云服務商相關工作人員,他們的典型反應如下:
(客服人員)“這個我們不是很清楚,幫你轉接技術人員”。
(技術支持)“沒怎么聽說過,這個國內好像還沒有吧?”
(技術經理)“我們的服務器能不能加載GPU并行運算不清楚,不太了解市場有沒有這樣的需求”。
高性能并行計算主要采用CPU+GPU的異構模式,這種構架已經成功的在云服務器端實現資源虛擬化。但令人迷惑的是,中國國內各大云服務商的官網連GPU并行運算的影子都看不到,甚至接觸過的各大公司技術服務及營銷人員似乎對GPU并行運算毫無概念。以下我們分別就幾個問題,探討這一尷尬局面的成因:
(1)難道GPU并行運算目前在國內沒有市場?
(2)虛擬化GPU并行運算在國內的實施遇見技術上的困難?
(3)各大云服務公司管理層,是否對計算需求缺乏了解、對高性能技術發展不敏感?
(4)亦或是商務決策層與先進技術圈形成脫節?
對上述的第(1)點市場因素:如前所述,隨著圖形圖像、動畫視頻、3D運算、及大數據分析的廣泛應用,對GPU并行運算的需求很高;而玩兒轉這種高大上的前沿計算,普通中小企業在系統搭建、程序開發及維護都缺乏足夠檔次的常備技術隊伍,因此非常需要云服務商的界入,降低此類技術的使用門檻,提供包括IaaS、PaaS、SaaS等整套共享租用服務。因此國內的市場需求是非常旺盛的。
關于上述的第(2)點技術實施因素:虛擬化GPU運用于云計算服務的技術也早已成熟。如前所述,NVIDIA公司CUDA體系與云服務器已經有了完美的對接,在此基礎上美國Amazon,Google,Joyent等公司均已提供相應的商業云計算租用服務。
2014年1月,曙光公司、NVIDIA公司、思杰公司合作推出“云圖”(W760-G10),具備GPU硬件虛擬化的能力;雖然尚未見有明確的云租用服務,但是可以看出,技術實現并非阻礙所在。
對上述的(3)管理層因素:近年成長起來的國內明星公司,如騰訊、阿里等,都經歷了一個極短時間內的快速膨脹,很多早期人員隨之自然升入高級管理層。然而,早期人員許多在自身的知識基礎、學習能力方面存著嚴重的不足。大專生去面試本科生、研究生的現象實屬常見。隨著公司業務的拓展,整體技術積淀不足的弱點顯露出來,管理層對技術的理解力與敏感度不夠。
對上述的第(4)點因素:中國IT及互聯網的發展,曾長期奉行技術“拷貝主義”,精力心思多用于摸索中國土壤上的營利模式。中國企業對于應用層面的市場敏感度是相當出色的。但是,對于深層的技術策源動向,一直是忽視的。商務決策層需倚靠技術管理層的建議,而技術管理層或者自身夠不著技術前沿、或者早已脫離技術前沿;中國高校科研機構以純文章數為導向的研究風氣,培養不出既尖端又實用的新鮮血液給企業,也鮮有學術專家真正花心思做好企業顧問。種種原因,商務決策層和先進技術圈是脫節的。
因此我們認為,對GPU并行云計算的市場需求和技術實現都不是問題所在。中國有志于做好云計算服務的各個公司,有必要進一步提升其技術管理層的技術素養、商務決策層的技術意識。
【IT時代周刊批注】雖然全球云計算市場保持著平穩增長的態勢,但也應看到,各個國家間的云計算產業、市場和服務現況相距非常大。以中國為例,除了上述云服務企業存在的技術和服務因素外,傳統的網絡安全也不容忽視。有專家就指出,國內云服務商在網絡安全方面的防護措施仍比較薄弱。國內典型云服務企業發生的安全事件中有50%是傳統網絡攻擊造成的,占比達53%,隨著我國云服務用戶規模的不斷擴大,安全問題數量也將迅速增長。
6.云計算商應腳踏實地、聚焦本質價值:幫助眾多中小公司運用前沿計算工具,提升中國移動互聯新經濟的技術檔次。
中國過去三十多年的經濟奇跡,是從無到有、從低到高的迅速變換過程。在經濟層次迅速攀升的年代,昨日的成功者、今日的弄潮兒,難免不受以往經驗與習慣思維的影響。出于習慣,凡起商業項目,重視商業渠道的爭奪、善于造勢,對于產品內涵價值的挖掘卻很欠缺。此種做生意的方式,不可否認在以往也取得過巨大的成功,但是我們也看到,每當新流行概念出現,就呈現“眾口一詞、一擁而上、簡單復制、同質單一”的局面。善于熱炒,而不扎實做事,不深入挖掘概念的內涵價值,如納米、物聯、機器人、3D打印等等流行熱點比比皆是。概念固然很好,不做實做真,終究增加不了硬實力。
云計算服務,通過將繁瑣的技術維護的移至云端,把“很難很先進”的技術功能打包封裝,降低用戶使用的技術門檻,實現社會智力資源共享。而現今中國的大大小小云服務商,簡單講就是個“遠程機房+移動大硬盤”模式,意義著實有限。當今世界經濟幾乎唯中國一枝獨秀,中國名企牛氣沖天,何以搞個云計算卻停留在如此低的層次?歸根結底還在于商務觀念未脫落低水平市場中粗放競爭的歷史烙印,不習慣通過深挖技術內涵,發揮內在價值而建立商務優勢的路線。
云計算作為一個“很實在很技術”東西,服務對象是商業應用型公司,具有理智化決策的行為特征。腦白金式的蒙蔽營銷手法登峰造極,放在這里卻未必有效。中國的移動互聯新經濟在應用層面,欣欣向榮,活力四射,全世界數一數二。相應的,云計算服務作為其龍骨支撐,不跟上是不行的。大量的視頻音圖+3D+規模機器學習+大數據分析 =》高強度計算任務 =》云GPU并行運算,這是一個非常簡單明了的推導鏈條。何必瞻前顧后,剪不斷理還亂?
【IT時代周刊編后】作者的這篇文章直接點出了國內云計算與先進國家的差距。在美國,以微軟、谷歌、亞馬遜等巨頭為代表的IT企業,正在不斷鞏固自身在云服務上的優勢地位,而且不斷向海外市場拓展。有數據顯示,全球前100個云計算企業中,超過80家是美國企業。而相比之下,國內云計算市場的體量雖說也在不斷增大,但云服務企業的技術和服務有待提高、服務易用性、安全性、數據的遷移與分配等都有非常大的提高的空間,要做出調整和改進,首先需要改變以硬件采購為主的市場結構才行。【責任編輯/劉佳慶】
本文作者祁海江,青島五脈泉信息有限公司技術主管,南京大學計算機碩士,賓夕法尼亞大學生物工程博士。