大數據時代,數據成爆炸式增長,數據總量ZB級,對我們的IT系統提出了更大的容量存儲能力和更高的系統性能要求。華為OceanStor N9000存儲系統(以下簡稱N9000系統)采用Scale-Out架構,通過服務器的集群方式構建,可自由橫向擴展,提供統一命名空間,這個統一的命名空間可以提供高達170GBps的總帶寬,超過300萬的OPS,以及很低的時延。N9000系統是如何達到這樣的卓越性能的呢?
SSD加速
在一個系統中,我們把用來描述數據的數據稱為元數據,元數據管理真正的數據。元數據的特征是數據量不大,但訪問頻繁且離散。我們在并發訪問數據的時候,需要先訪問元數據,以獲得數據的大小,路徑等信息再通過這些信息訪問數據的內容。傳統機械硬盤,順序訪問性能可達100MB級別,但小文件隨機訪問的性能極低。用傳統機械硬盤來存儲元數據,元數據往往就成為了整個系統的性能瓶頸。
近幾年固態硬盤(SSD)技術突飛猛進,SSD存儲小文件隨機訪問的性能有目共睹。就存儲介質而言,SSD以其高性能引領著存儲行業的變革方向。但它同時也面臨著高成本和低容量的尷尬困境,而這恰恰是傳統硬盤的長項。就目前SSD的發展程度,在大數據時代,面對大容量和低成本的要求,所有場景全部采用SSD的方案是不現實的。
N9000系統基于分布式架構,數據和元數據分開管理,系統智能控制元數據的分布位置。同時,N9000系統的高性能節點配置SSD。這樣,N9000系統把元數據存放在SSD上,數據放在機械硬盤上,既能提升整系統性能,又能提供大容量空間,還能保持低TCO。
N9000系統不僅僅可以把元數據放在SSD上,加速元數據訪問速度,還能自動識別小文件,和熱門數據,并自動把部分小文件和熱數據放在SSD上。當SSD空間滿的時候,N9000通過自動的冷熱文件識別,把一部分近期被訪問可能性較低的文件轉移到SATA或SAS盤上。這樣的設計可以讓資源得到充分的利用。
SSD的空間容量畢竟有限,只能放置部分元數據和數據,絕大部分數據都放在傳統的,讀寫性能比SSD低很多的機械硬盤上。如果要保證整系統的高性能,僅僅依靠SSD加速還不夠。緩存,一直以來,也是用來提升性能的一大法寶。
全局緩存
在一個系統中,數據通常情況下讀要比寫的頻率高,提升數據的讀性能,能顯著提升整系統性能。數據從緩存中讀出,比從硬盤讀出快很多倍。傳統的做法是盡可能加大節點的緩存,但單節點的緩存總是有上限的。而且傳統集群服務器的緩存往往是各自為政,同一塊數據有可能被多個節點的緩存分別進行緩存處理,隨著節點的增加,緩存命中率不會得到提高,磁盤的讀性能得不到改善,數據的一致性保證機制也會非常復雜,進而消耗過多的系統資源。
N9000系統作為一個分布式,share nothing架構的系統,每個節點都對外提供服務。N9000系統采用全局緩存模式,把所有單節點的緩存聯合起來,整合成一個大緩存池,從任一節點訪問,讀寫均可以在全局緩存池中作統一的命中處理。N9000最高可以擁有超過4TB的超大緩存,大大提高緩存命中率,減少讀盤次數,降低訪問時延,提升系統并發度、進而提升整系統性能。
把所有單節點的緩存整合成一個統一的全局緩存池,需要通過系統的內部網絡來完成數據的交換,如果內部網絡性能差,時延大,必然影響整體的系統性能。
高速的網絡互聯
隨著網絡技術的不斷發展,萬兆以太網出現,讓用戶既擁有高速網絡,又擁有以太網的簡單管理。N9000系統支持高速10GE以太網,每個節點可以支持4個10GE端口和4個1GE端口, N9000在低時延、高帶寬、高并發的場景下都可以獲得卓越的表現。
隨著近幾年Infiniband技術趨于成熟,多并發鏈接,高達40Gbps的帶寬,時延低。在一些對性能要求苛刻的場景,Infiniband能夠帶來更高的性能。但Infiniband目前成本還比較高,這是CIO們需要抉擇的地方。
N9000系統同時支持高速10GE以太網和InfiniBand網絡,適配用戶不同的組網需求。通過節點間高速互聯,盡可能降低系統內部時延,從而對外提供卓越性能。
并行訪問
傳統的NAS系統一般采用單NAS引擎Scale-up的方式擴展容量,所有的并發訪問都需要經過NAS引擎,傳統的NAS系統,NAS引擎往往成為系統的性能瓶頸。
N9000使用多臺相對廉價的x86服務器組成一個Scale-out的集群,通過負載均衡,每個訪問均勻地被發往各個服務器,這大大提高了N9000并發訪問的能力,其處理能力隨著集群規模的增大而線性增長,避免了性能與容量不匹配的尷尬。這也使得N9000可以使用較低配置的硬件達到傳統高端NAS的性能指標。
華為OceanStor N9000存儲系統還通過細粒度鎖,負載均衡,分級存儲等,為用戶提供卓越性能。技術永無止境,追求永無止境。華為OceanStor N9000存儲系統在技術上不斷創新,為客戶提供業界領先的性能,滿足媒資,高性能計算等場景的需求。