IBM公司近日宣布,IBM已獲得美國能源部價值3.25億美元的合同,為勞倫斯 利弗莫爾國家實驗室和橡樹嶺國家實驗室開發和部署全世界最先進的“以數據為中心”超級計算機系統,從而推動科學、工程與國防安全領域的創新與研發。IBM的新系統采用“以數據為中心”的方法,使數據存在哪里計算能力就在哪里,從而使數據流動和能耗降至最低。
美國能源部采用新的IBM“以數據為中心”系統——IBM已獲得美國能源部價值3.25億美元的合同,為勞倫斯 利弗莫爾國家實驗室和橡樹嶺國家實驗室開發和部署全世界最先進的“以數據為中心”超級計算機系統,從而推動科學、工程與國防安全領域的創新與研發。這些基于OpenPOWER技術的系統可使數據流動及能耗降至最低,提供具備高成本效益的建模、模擬和大數據分析技術。(左起)橡樹嶺國家實驗室主任Thom Mason博士;IBM研究部高級副總裁兼主任John E. Kelly III博士;勞倫斯 利弗莫爾國家實驗室主任Bill Goldstein博士。(Rich Riggins/IBM的圖片服務提供商)
在大數據快速增長的背景下,大數據管理的重要性日益提高,這提升了科學家獲得新發現的機會,但同時也加劇了他們面臨的挑戰。全世界每天產生超過25億GB數據(相當于2.5億個足球場容納的書籍所含的信息量),為此我們需要全新的超級計算的方法。
目前的計算方法通過在存儲器與處理器之間反復調動數據來分析和獲得數據洞察。然而,隨著大數據極速增長,大規模且頻繁的數據移動會耗費極大量的時間和能源,這個方法因而變得不可維系。由于數據移動和數據管理占據計算基礎架構極大的空間,僅僅將設計重點放在更快的微處理器上的慣常做法也變得不再可行。
為解決這個問題,IBM研究人員在過去五年里開創了一種名為“以數據為中心”的全新方法。新架構將計算能力嵌在系統里的數據所在地,充分考慮到分析、建模、可視化和模擬能力的融合,從而以令人難以置信的速度促進新洞察的產生。
IBM OpenPOWER系統為兩個實驗室提升速度和能源效益
在兩個實驗室看來,由于采用創新的“以數據為中心”方法,新的IBM超級計算機將成為速度最快和能效最高的系統之一。每個實驗室系統在商業和高性能計算應用方面的性能有望達到原系統的5-10倍,能源效率也將在原系統5倍以上。
這些基于OpenPOWER的系統將通過“以數據為中心”計算架構來提供領先于業界、具有高成本效益的大數據建模、模擬、應用和分析技術。部署于勞倫斯 利弗莫爾國家實驗室的“山脈”(“Sierra”)超級計算機和部署于橡樹嶺國家實驗室的“山峰”(“Summit”)超級計算機的峰值性能都將遠超100 petaflop(千萬億次浮點運算/秒)。此外,超過5PB的動態內存和閃存也將提升“以數據為中心”應用的性能。如需要,這些系統可以以高于每秒17PB的速度(相當于在一秒內移動Facebook上的1000億張照片)將數據移動到處理器,從而提升獲得洞察的速度。
這兩個國家實驗室允許來自學術界、政府和產業界的研究人員訪問其開放的計算機,以克服科學和工程領域的重大挑戰。在以往,這些實驗室計算機的優化都是為了更好地利用建模和模擬技術解決科學問題。但隨著研究進程在醫療衛生、基因組學、經濟學、金融系統、社會行為、數據集可視化等領域的持續推進,研究人員對這些研究項目的技術需求越發提高。因此,為解決諸多世界難題,計算系統需要提供數據管理、數據分類以及有用信息提取等服務。
IBM極具開創性的“以數據為中心”架構對科學、國防應用以及醫療、制造、工程、石油、天然氣等行業具有革新意義。“山脈”和“山峰”系統在核心應用上的運用證明美國能源部將要開啟百萬兆級計算(Exascale)宏偉藍圖的另一個重要階段。
利用OpenPOWER技術的開放方法
為了生成、訪問、管理和操作無論在數量或種類上都空前之多的數據,我們需要改變傳統計算的屬性,使其建立在開放的技術平臺之上。企業需要從系統設計到制定決策的整體過程中迎接數據所賦予的挑戰。這意味著企業要從數據“誕生”開始審視數據,經過由方案驅動的工作流以及形成洞察的整個周期。這需要企業從數據準備開始,經歷數據處理和數據可視化的過程,并經過多次反復。
將OpenPOWER技術融入模塊化集成系統的做法將幫助勞倫斯 利弗莫爾國家實驗室和橡樹嶺國家實驗室根據其具體需要對“山脈”和“山峰”系統配置進行定制。
NVIDIA與IBM合作,開發了先進的NVIDIA NVLink互連技術,該技術將使CPU和GPU能夠以比現在快5-12倍的速度進行數據交換。NVIDIA NVLink技術將應用于IBM POWER CPU和下一代基于NVIDIA Volta 架構的NVIDIA GPU,使“山脈”和“山峰”能夠達到前所未有的性能水平。此外,IBM正與Mellanox聯手研發一種非常先進的包含內置智能的互連技術,從而提升數據處理能力。
IBM全球高級副總裁、系統與科技部總經理Tom Rosamilia先生表示:“在數據量極速增長的背景下,傳統超級計算的方法不再可行,今天的新聞發布標志著這些傳統方法的重大轉變。IBM‘以數據為中心’的方法是一種全新的計算范例,它代表著開放計算平臺的未來,并能應對數據量加快增長的挑戰。IBM為勞倫斯利 弗莫爾和橡樹嶺國家實驗室開發的系統具備卓越的性能,其核心技術目前可供不同行業各種規模的公司使用。”
IBM現在向客戶提供的“以數據為中心”技術包括IBM POWER8、IBM 彈性存儲服務器(IBM Elastic Storage Server)、IBM 彈性存儲軟件(基于GPFS技術)和IBM Platform Computing軟件。
圍繞這些新系統,IBM研究院將與勞倫斯 利弗莫爾國家實驗室和橡樹嶺國家實驗室開展科學項目方面的合作,通過開發相關工具和技術來優化代碼,從而最大程度地開發新系統的性能。
雖然利用Power Systems和OpenPOWER技術的計劃的編程工作已經開始,但這些新系統在上述國家實驗室的部署和安裝工作預計要到2017-2018年才能完成。