小編的話
“品高云公開課”系列文章意在分享技術牛人的知識干貨,和大家一起交流學習云知識,每期主題都不一樣喲!期待各位讀者在文后發表留言,來一場技術上的交流和思想上的碰撞!2015年12月18日本期品高云公開課由品高云教育行業總監吳一冰帶來“超算入云:HPC in Cloud”的分享。
分享嘉賓
吳一冰品高云教育行業總監,CCF YOCSEF廣州AC委員。長期從事云計算、云安全等相關領域技術研究,近年來致力于為教育信息化貢獻來自云端的力量。
分享正文
大家好,我是品高云教育行業經理吳一冰,今天跟各位分享一點關于云計算這個老兵的新任務,HPC in Cloud。
之前參加過智慧教育展,在展會上有不少談云的,云教學、云備課,好多種不同的說法。大家似乎認為云計算是一個萬能的技術,這是云計算的成功,也是對于云計算概念的一種透支,很多人已經不知道云這個玩意最擅長的、最能干的是什么了。
我們品高云做了很多年云計算,最開始,大家對云計算的看法認為云計算可以提供更快的計算速度,好像我們有個大集群,里面蘊藏著巨大的計算力,理所當然可以干“超級計算”的事情。這也是最開始云超算這個概念的出現背景,但從市場跟技術原理上,都沒能得到主流認同。
后來我們漸漸發現,云計算的最核心的本質,并不是計算速度,而是交付速度,提升各種資源的交付效率。
最初階段云計算交付基礎環境,例如虛擬機、云存儲;
后來云計算可以交付運行環境,不僅是虛擬機,里面還有中間件、數據庫,用戶拿到之后可以直接丟應用進去,就能運行;
再后來,云計算可以直接交付應用,我們把應用做成部署模板,自動化創建應用;
云計算繼續發展,可以交付并行的應用。這個能力對于云HPC來說,是有里程碑似的意義。
云計算的發展,漸漸達到了HPC高性能計算的基礎環境支撐要求,使得這兩條技術流派產生了交叉。
因此,近年來我們可以看到亞馬遜AWS,微軟的Azure,都推出了HPC集群服務,美國有很多高校、研究機構、企業,例如華盛頓大學、輝瑞制藥等,都在使用亞馬遜的在線HPC集群。阿里云前一段也推出了并行計算服務,盡管業內很多HPC專家都說阿里做的還不成熟,但說明阿里云也看到了這個趨勢,開始做了云超算。
說回到我們的高性能計算云,高性能計算這個技術本身,最開始并不是針對高校的。這項復雜的技術,適用于定向的研究機構、企業,長期用于研究同一種課題,例如中科院等離子研究所、中石化用于石油勘探等。
這跟高校的科研模式有比較明顯的差異,高校內的研究門類特別多,有物理、化學、電子、生命科學等,而且大多數研究是實驗、驗證性質的。
而且具有短期、高頻、多樣化的特點。就是每個實驗運行的時間并不長,但可能有很多次實驗,對于學校來說,也有很多種不同的應用。
當前大多數高校的HPC資源,都是在各科研團隊手里,彼此之間很難共享,資深的老師可能有很多HPC資源,年輕老師可能沒資源;有些老師做課題實驗時,HPC資源可能不夠用,但不做實驗的老師,可能資源有大量閑置。
另外一方面,HPC環境安裝部署搭建的復雜度很高。物理學院的老師搭好之后,即便不用,借給材料學院的老師,也沒法直接用,要做很大的改動,材料院的老師用完也沒法恢復成物理院需要的HPC環境。簡單說,構建難度大、復雜度高,歸根結底就是交付效率比較低。
而云計算恰恰就是解決資源交付效率低的問題的。
剛才我們說到,云計算可以交付集群應用,也就是可以直接自動構建HPC集群。我們只需要將各種不同的HPC應用模板進行初始化導入,各院系的用戶就可以直接通過云平臺自助的去創建。
品高教育云平臺自助服務門戶視圖
對于資源管理者來說,也不需要去做各種復雜的運維工作,因為云平臺會利用自動化服務來代替人來做運維。管理者給用戶分配配額,例如100核的CPU、200G的內存、10T的存儲等。用戶就可以自助的去使用平臺來創建HPC集群,只需要選擇他需要的HPC軟件應用、選擇節點配置、指定節點規模。剩下的所有事情,都交給云,云會自動創建資源、自動安裝軟件、自動配置成集群,用戶可以直接使用。
通過品高教育云平臺部署Matlab集群模擬界面
為了更好的滿足各類HPC的需求,云計算還需要針對HPC應用場景做技術優化,例如支持GPU、Xeon Phi等協處理器,這些都是在HPC領域有很重要作用的設備。而且為了提供更強大的計算性能,我們不得不告別虛擬機,改用LXC容器技術來提供計算單元,基本上可以實現物理服務器99%的性能。而且,為了解決不同架構、不同HPC應用對于底層資源的兼容性要求,品高云還做了測試,通過了Intel的Intel Cluster Ready 的認證,也是國內唯一一家通過ICR認證的云平臺軟件廠商。
現在不少學校都有高性能計算的需求,超算的應用也越來越廣。但不少高校覺得超算平臺的運維壓力很大,自己不懂,覺得建設一個超算平臺這個事情心里沒底。但都認為云計算不算新技術了,也比較成熟了,可以上云了。但如果這個云,還能干超算的事情,那么這個云的價值就非常大了。而且云中提供的超算,還大大降低了管理和使用的技術門檻,畢竟比較麻煩、復雜的配置、部署的工作都由云計算來完成了。
學校的IT管理部門,可以通過HPC科研云,向校內各院系提供HPC云服務,并且可以記錄每年我服務了多少個院系、多少個科研團隊,支持了多少個項目等,這些科研項目產生的學術價值、經濟價值,都會與IT部門相關。真正幫助IT部門的定位從成本中心轉型為服務中心、運營中心。工作主體也從IT資源運維,變成了IT資源運營。
歡迎大家一起來交流!
想提出問題的同學們,可以在右下方“寫留言”,分享嘉賓會熱情并且耐心地進行解答噢!
你想和更多志同道合的技術大咖一起交流嗎?你想收聽每周的“品高云微信群公開課”的直播嗎?
長按識別以下二維碼關注“品高云計算”微信公眾號,回復“公開課”,品高云公開課的最新咨詢、往期精彩回顧都在這里!