在大數據領域，并非每家公司都需要高性能計算(HPC)，但幾乎所有使用大數據的企業都采用了Hadoop式分析計算。
HPC和Hadoop之間的區別很難區分，因為可以在高性能計算(HPC)設備上運行Hadoop分析作業，但反之亦然。 HPC和Hadoop分析都使用并行數據處理，但在Hadoop 和分析環境中，數據存儲在硬件上，并分布在該硬件的多個節點上。在高性能計算(HPC)中，數據文件的大小要大得多，數據存儲集中。高性能計算(HPC)由于其文件體積龐大，還需要更昂貴的網絡通信(如InfiniBand)，因此需要高吞吐量和低延遲。
企業首席信息官的目的很明確：如果企業可以避免使用HPC并只將Hadoop用于分析，可以執行此操作。這種方式成本更低，更易于員工操作，甚至可以在云端運行，其他公司(如第三方供應商)可以運行它。
不幸的是，對于需要高性能計算(HPC)進行處理的生命科學、氣象、制藥、采礦、醫療、政府、學術的企業和機構來說，全部采用Hadoop是不可能的。由于文件規模較大，處理需求極其嚴格，采用數據中心或與采用云計算都不是很好的方案。
簡而言之，高性能計算(HPC)是一個在數據中心內部運行的大數據平臺的完美示例。正因為如此，企業如何確保其投資巨大的硬件完成需要的工作成為了一個挑戰。
大數據Hadoop和HPC平臺提供商PSCC Labs首席戰略官Alex Lesser表示：“這是必須使用HPC來處理其大數據的許多公司面臨的挑戰。大多數這些公司都有支持傳統IT基礎設施，他們很自然地采用了這種思路，自己構建Hadoop分析計算環境，因為這使用了他們已經熟悉的商用硬件，但是對于高性能計算(HPC)來說，其響應通常是讓供應商來處理。”
考慮采用高性能計算(HPC)的公司需要采取以下四個步驟：
1.確保企業高層對高性能計算(HPC)的支持
企業的高層管理人員和董事會成員不一定要求是高性能計算領域的專家，但絕不能沒有他們的理解和支持。這些管理人員都應該對高性能計算(HPC)有足夠的了解，以及可以為企業明確支持可能制定的大規模硬件、軟件和培訓投資。這意味著他們必須在兩個方面受到教育：(1)HPC是什么，為什么它與普通分析不同，需要采用特殊的硬件和軟件。(2)為什么企業需要使用HP??C而不是原有的分析來實現其業務目標。這兩項教育工作都應由首席信息官(CIO)或首席開發官(CDO)負責。
Lesser表示：“采用HPC的最積極的公司是那些相信他們真正的科技公司，他們指的是亞馬遜AWS云服務，最初只是亞馬遜公司的零售業務，現在已成為一個龐大的利潤中心。”
2.考慮一個可以自定義的預配置硬件平臺
PSSC Labs等公司提供預打包和預配置的HPC硬件。“我們有一個基于HPC最佳實踐的基本軟件包，可以與客戶一起根據客戶的計算需求定制這個基礎軟件包。”Lesser說，他指出幾乎每個數據中心都必須進行一些定制。
3.了解回報
與任何IT投資一樣，HPC必須符合成本效益，并且企業應該能夠獲得投資回報(ROI)，這一點在管理層和董事會的頭腦中已經闡明。“一個很好的例子是飛機設計。”Lesser說。 “高性能計算(HPC)的投資規模很大，但是當公司發現它可以使用HPC進行設計模擬并獲得5個9的準確性，并且不再需要租用物理風洞時，就會很快收回了HPC投資。”
4.培訓自己的IT員工
HPC計算對企業的IT員工來說不是一個簡單的過渡，但是如果企業要運行內部部署操作，則應該讓團隊定位以實現自給自足。
最初，企業可能需要聘請外部咨詢人員才能開始工作。但咨詢任務的目標應始終是雙重目標：(1)讓HPC應用程序繼續運行，(2)將知識傳授給員工，以便他們能夠接管操作。企業不應該滿足于此。
HPC團隊的核心是需要一名數據科學家，他能夠開發高性能計算所需的高度復雜的算法來回答企業的問題。它還需要一名精通C +或Fortran技能，并能夠在并行處理環境中工作的強大系統的程序員，或者是網絡通信專家。
“最重要的是，如果企業每兩周要運行一次或兩次工作，就應該到云端來承載其HPC。”Lesser說，“但是如果企業正在使用HPC資源和運行作業，如制藥公司或生物學公司可能每天多次運行，那么在云端運行就會浪費資金，應該考慮運行自己的內部操作。”
版權聲明：本文為企業網D1Net編譯，轉載需注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號