隨著技術的發展，大規模的并行計算的方式激發有關行業對高性能計算機的需求,作為后起之秀的Linux集群系統，吸取了SP 大規模并行機的諸多優勢，IBM的通用并行文件系統GPFS 等和Linux 集群系統的竭誠不僅能在并行運算方面的性能得到保障，增強了集群系統的可管理性，而且采用具有高可用性的IBM xSeries服務器，可以大大降低成本。

目標市場：金融行業、氣象局、地質勘探、高校實驗室、生物工程、科研探索等高性能計算領域。

IBM GPFS并行文件系統解決方案構成

高性能計算機的架構主要以集群為主，整個高性能計算系統在硬件基礎架構上包含計算資源、網絡資源和存儲資源三大部分。在目前主流的采用Linux 并行集群架構的高性能計算系統中，計算資源分為計算節點和I/O 節點，計算節點負責運行計算任務，I/O 節點則負責數據的存儲并響應計算節點的讀寫請求，不同計算資源節點之間通過高速網絡進行通信和信息交換。

在此次方案中，我們選用的IBM Linux 集群系統使用了基于IntelXeon處理器的刀片服務器節點、成熟的集群管理軟件、提供極高的持續帶寬保證的存儲服務器，集中了最好的IBM 高性能設備和技術。不僅能在并行運算方面的性能得到保障，而且增強了集群系統的可管理性和可維護性。采用具有高可用性的IBM xSeries 服務器，大大降低了總體成本。同時，數據量的增加，帶來了針對數據的管理，共享，分布，保護等實際需求，市場要求存儲廠商不斷推出適合需求的解決方案和產品。傳統的服務器-客戶機網絡結構在性能、可管理性、連接性等方面都達到了極限，而SAN是解決這些問題的理想方案。IBM DS3500存儲平臺作為IBM針對大規模并行計算領域有著高性能、高穩定性和易擴展、易管理等特性，十分滿足高性能計算平臺對于存儲設備的要求。

在計算節點的選擇上，IBM 建議采用Blade Center +HS22 刀片, IBM BladeCenter 支持最新的Intel 和AMD四核處理器,支持業界最快的高達4.0 GHz 的Power 6 處理器,以及專用于高性能計算的九核Cell 處理器。IBM HS22 是業界功能最強大的刀片，HS22 采用最新的Intel Nahelem處理器,在集成了IBM BladeCenter 傳統的高可靠等優勢的基礎上，性能、功耗和虛擬化的功能都比上一代產品有了顯著提升。

IO 節點采用IBM 的X3850或者X3650，產品前后端高吞吐量以及靈活組合方式，能提供極高的持續帶寬保證，非常適合做高性能計算環境下持續帶寬要求極高的存儲服務器，顯著提高I/O 節點的處理能力：

I/O 節點是提供存貯共享的計算機。為了使任務可以并行執行，每臺執行任務的計算機必須能夠訪問同樣的數據，本方案存貯節點通過集群文件系統(IBM GPFS)來確保數據訪問的同步。

I/O 節點和高性能存儲直接相連，并通過自己的Fiber Channel I/O 通道將冗余磁盤陣列上的多個分區做成集群并行文件系統GPFS，并向計算節點提供數個唯一路徑且全局共享的文件系統。本方案提供高速的文檔讀寫服務給所有計算節點， 特別適合于有可能會產生大文檔的高性能應用上。

通常的IO節點機共計4套主機，每個主機為兩塊8Gb的高性能HBA卡，單IO節點連接到SAN網絡交換機，每個節點配置的帶寬為16Gb的帶寬性能，本次測試配置4個IO節點，共計有8條8Gb 帶寬聯入SAN核心網絡中，從IO節點聯入核心網絡總持續寫入帶寬為6.4GB/S的帶寬。

兩臺DS3500存儲節點，每臺配置8個8Gb FC接口聯入SAN網絡中，共計IO帶寬為12.8GB/S. 每臺DS3500存儲節點配置為48塊300G 15K RPMSAS及48塊1TB NL 7.2K SAS,在每臺DS3500上實現IO分級存儲，將核心的頻繁讀寫的IO的LUN劃分在15K的高速SAS存儲上，其它的分布在NL SAS上，IBM的GPFS支持HPC的分級IO功能。本次方案為雙節點DS3500存儲節點，每個節點連接3個擴展柜，一級存儲容量為300G×96 SAS共計28TB容量，二級存儲容量為1TB*96 NL SAS, 共計存儲容量為96TB.

針對DS3500，在全配置8個8Gb FC接口的情況下，每個DS3500盤陣可以提供4GB/S的硬盤持續帶寬，兩臺DS3500共計可提供8Gb/S的持續帶寬。

在GPFS配置上，我們建議用戶配置2MB的IO Block Size,針對大規模并發運算應采用較大的IO讀寫帶寬，在我們提供的GPFS HPC運算方式中，保證用戶為提供最大帶寬，單個GPFS系統并發帶寬可以通過16個8Gb FC端口平均分布在這24個Lun 上， GPFS系統對LUN使用率可以達到90%以上，在這樣的配置下，2臺雙節點的存儲節點帶寬持續可以達到6GB以上。

IBM GPFS并行文件系統解決方案

DS3500存儲節點的優勢

DS3500 系列適合交易型的應用，如數據庫和聯機事務處理，以及吞吐量密集型應用，如高性能計算和流媒體應用。DS3500 系列的線性擴展能力所帶來的性能提升，使其可以滿足最苛刻的應用和發展需求。

DS3500的性能已經達到其它廠家中端產品的計算性能，而DS3500是一款具有入門級產品價格的高性能盤陣，從單存儲節點的性價比上，DS3500遠遠高出中端存儲盤陣。

DS3500 以高可靠性和高可用性為目標，提供部件冗余、自動故障路徑切換和靈活的在線配置、重構和維護能力，確保您的數據全天候可用。DS3500 系列也可保護存儲的數據的安全：

使用DACstore 技術在每一個磁盤驅動器上存儲配置信息的元數據

堅實的吞吐量，6GbpsSAS及8Gbps FC接口使得DS3500非常適合那些單個存儲系統必須處理大量數據的集群環境

流媒體：大型I/O應用，例如全球轉播，大量的媒體存儲網絡，內容創建，建模及發布都將從DS3500系列提供的額外帶寬中受益。

提供持續的高速緩存備份功能，確保在掉電情況下，高速緩存中的數據仍是安全的。

GPFS解決方案優勢：

在HPC計算應用領域，GPFS以高安全性著稱，隨著系統節點數的擴充及容量的擴充，GPFS可以實現安全，高效的計算，及大規模的文件共享。

先進的仲裁管理機制，確保系統最大程度的可用性，沒有單一故障點, 管理服務器在manager資源池內實現自動故障切換

支持多路徑磁盤訪問，一條路徑訪問失敗，可以通過其它路徑實現.

支持對元數據和用戶數據做replication，保證系統穩定可靠

高性能，在高性能應用領域，FPFS公認是對文件計算以高性能主持，隨著節點熟的增加，GPFS的性能可以線性的增加，滿足了用戶平滑升級的需求。

文件存儲采用條帶化技術，單個文件跨節點和存儲系統分布，提高并發訪問性能

智能預取機制，通過對文件訪問模式的預測來進行預取，降低讀寫延遲

分布式的Byte Range級鎖管理，包括文件和目錄兩個級別，允許最大程度的并發訪問

分布式元數據服務器，避免元數據處理成為系統瓶頸

支持客戶端數據緩存，不同節點可以根據需要設置不同的緩存大小

數據塊的大小可自定義，16K, 64K, 256K, 512K, 1M，2M，4M