引子:本文談論的是中國超算發展近況,以及超算系統閑置和浪費較大情況的解決之道。
最近又發生了一件讓國人特別驕傲的事情。那就是基于中國”芯“的超級計算機“神威太湖之光榮登全球之首,最新一期全球超級計算機500強中,來自中國的超級計算機也首次超過美國,達成了167臺這全球領先的位置。
中國“芯”終于夢成真,
是具有戰略意義的大事件
2015年年初,美國政府禁止其企業向中國出口與超級計算機相關的技術,更是讓中國人意識到核心技術不能受制于人。”一年之后,“神威太湖之光”奪得全球超算冠軍,向世界正式宣告中國“芯”的到來。
新一期全球超級計算機500強榜單上月20日公布,使用中國自主芯片制造的“神威太湖之光”登上榜首,這是中國“芯”走上自主之路的里程碑式事件,意味著中國掌握了超算制造的主要核心技術。中國超級計算機擁有中國“芯”終于不再是夢想,而是成為了再真實不過的現實。超級計算機是國家科研的一個基礎工具,為解決經濟、科技等領域一系列重大挑戰提供了重要手段,對提升綜合國力具有戰略意義。
為啥這么說呢?
因為超級計算機是科學家用來解決人類重要問題的工具。所謂超算,就是計算能力特別強的計算機。有效使用超級計算機,可在更短時間內完成重大研究。最典型的應用場景是算天算地,比如生命科學、流體空氣力學、仿真、氣象、氣候、環境等等,還有一些國家級戰略領域:
比如說,應用于情報機構。
美國國家情報機構的“棱鏡”計劃顯示,美國花巨資收集各國的隱私,其中包括普通民眾的海量信息。這意味著需要有巨大的信息處理能力。特別是反恐等情報具有時效性,需要從天文數字的信息里盡快篩選出有價值的情報,這只能依靠超級計算機。
比如說,應用在核武器安全。
在美國,加利福尼亞的利弗莫爾國家實驗室、新墨西哥州的洛斯·阿拉莫斯國家實驗室、圣地亞國家實驗室、橡樹嶺國家實驗室都參與了利用超級計算機維護美國核武庫安全的工作。由于美國大批核彈頭已經接近服役年限,而囊中羞澀的五角大樓希望延長其服役周期,這就必須通過超級計算機模擬預測這些核武器何時會失效,哪個部件需要更換。
超算應用范圍原地踏步走,殺雞焉用牛刀乎
作為戰略性計算資源自然要應用在關鍵場合。但是,隨著超級計算機性能不斷提升,數量越來越多,能耗越來越大,而應用范圍卻并沒有隨之變大,甚至幾乎在上面說到的少數科學和工程計算領域原地踏步走。
這就是超級計算機在高性能與通用性方面一直存在矛盾。
過去,在每秒10億次計算能力的時候,超級計算機主要是用于工程計算或者科學計算,但是到了百億億次計算能力時,已經很難有一個題目需要這么大的規模,傳統的科學計算領域已經很難找到這樣的題目了。正如媒體曾報道的,曾經多次蟬聯世界500強第一名的“天河二號”超級計算機,利用率甚至只有40%。所以,超級計算機未來向何處發展是擺在我們面前最最重要的挑戰。
與相對萎縮的超算市場相反的是,在云計算、大數據應用領域,對計算資源的渴求幾乎是無窮無盡。不管是百姓還是政府、企業,都在從各式各樣的云應用和大數據應用中獲取計算和智慧的助力,這幾乎可以被視為人類社會向下一階段更智慧社會發展的必經途徑。更何況基于人工神經網絡技術的深度學習也是要基于海量計算資源,當一個個能夠戰勝人類圍棋冠軍的“AlphaGo”繼下棋之后,相繼走入人類社會,服務人們的生活、工作和生產,將是一派怎樣場景。這一切的前提是,滿足那些位于高端計算和桌面計算之間的眾多對高性能計算有潛在需求的用戶的高性能用戶,他們將是超算世界最需要的中產階級,以及超算應用向通用化全面發展的希望所在。
軟件定義時代:
釋放超算能量,讓超算服務云計算,用云計算提供超算性能
大量被忽視的中間層(the missing middle of HPC)正在因為對自身產業向互聯網+轉型的渴望,以及對云計算、大數據、深度學習所能帶來產業變革和商業價值的追求而擁抱超算。然而,缺乏超算人才、建設和維護成本高企,以及超算應用的復雜度往往讓他們望而卻步。而云計算正是應對這些挑戰的最佳途徑之一。
基于云計算理念構建的高性能計算(HPC)服務和傳統的超算服務(如超級計算中心所提供的)將有著顯著的區別:面向的是更廣闊的用戶群體而不是少量的高端用戶。即HPC云應該使得用戶無需任何的超算技術背景,他們可以在感知不到超算的情況下使用超算服務。這要求HPC云需要將并行任務、作業提交等超算技術細節對用戶完全透明。
云計算對超級計算中心等傳統超算服務者另外一個重要的意義是云計算的流行將使得用戶尤其是企業用戶更容易接受采購外部服務而不是自建系統來進行高性能計算。這種觀念的改變對HPC云的影響甚至比技術更為重要和深遠。
因此,在這個中國超算登峰造極,大量P級計算系統紛紛上線,但是并沒有找到足夠的用戶,商業模式不夠健全的當下。如何解決較大程度的超算系統閑置和浪費,云計算提供了一個可行的應對之道。
即基于云計算理念來構建超級計算中心,除了滿足傳統的或現有的超算用戶需求外,更重要的是創造并吸引眾多新領域的用戶。由于國外現有的超算中心大多由研究機構(如美國三大實驗室、各國教育或科技部門等)興建,主要面向本機構內的科研用戶;而我國的超算中心主要由地方政府主導,對工業和經濟發展承載著重要的責任,并且共享和開放的程度更高,因此發展HPC云理論上我國有著得天獨厚的優勢。
HPC in Cloud
intel與品高云的誠意之作,做普通高校用得起的超算
自2011年7月,品高云被推薦為intel云構建規范參考架構,推選加入intel Cloud Builders組織認證成員后,兩者就在云計算和高性能計算領域展開深入合作,并推出了“HPC in Cloud”應用模式——它可以將高性能計算與云計算結合,利用云數據中心普通X86服務器構建高性能計算集群,無需購買昂貴的高配設備,減輕了后期繁雜的運維壓力,大大節省了成本投入。
據悉,在HPC in Cloud解決方案推出同年,該方案就在在海南大學,并幫助后者實現了同時支撐教務應用和HPC科研環境的海大教育云平臺。
海大云是海南大學2015年初建設上線運營的校內云平臺,其建設方網教中心承擔著學校各類業務管理系統和公共服務平臺的運維工作,需要利用云計算解決IT資源使用不均衡且無法彈性變化等運維問題。同時,海大日益高漲的科研HPC需求還使網教中心需要考慮到校內高性能計算服務的提供。品高云的“HPC in Cloud”模式,讓科研人員可以通過海大云快速獲得計算資源,同時大大降低了使用門檻,助力海大科研創新。
除了海南大學,此后,HPC in Cloud解決方案又在廣州大學等高校中推廣起來,并積累出不少適用高校科研環境的應用場景:
1、數值計算領域科研應用:為高校提供用于算法開發、數據可視化、數據分析以及數值計算等科研環境;
2、大數據處理計算集群:為高校提供數據挖掘與機器學習等需要MapReduce分布式計算集群環境;
3、材料可科學科研領域:為高校提供集群資源用于計算原子、分子及團簇等材料的結構參數、狀態方程、力學性質等。
超算入云
值得一提的是,HPC in Cloud解決方案不僅可以利用云數據中心普通X86服務器構建高性能計算集群,也可以將現有的超算資源并入云中提供給其他應用使用。
這正是超算中心解決使用率問題的最佳解決方案之一。事實上,目前國內已經多個興建中的秉承云計算概念的超級計算中心,只要將概念變為理念,并在實際建設和未來的運營過程中加以落實,那它們將會是未來中國HPC云的中堅,并會在全球范圍內成為典范。
預告一則與超算有關的活動訊息
旨在推動高性能計算實用化,促進中國云計算、大數據、深度學習技術研究的2016第26屆廣東省“品高高校杯”軟件作品設計大賽正在啟動中。
本次活動由廣東省計算機學會主辦,品高軟件冠名,廣東外語外貿大學思科信息學院承辦,將于2016年10月29日(星期六)在廣東外語外貿大學(大學城校區)舉行。
獲得報名細則,請“品高云計算”關注公眾號,回復“品高杯”。