對(duì)于人類社會(huì)而言，最有價(jià)值的是人才；
對(duì)于數(shù)字世界而言，最有價(jià)值的是數(shù)據(jù)；
對(duì)于承載數(shù)據(jù)的存儲(chǔ)而言，最重要的是穩(wěn)定。
浪潮存儲(chǔ)在提供極致性能的同時(shí)（最新的SPC-1數(shù)據(jù)，16控存儲(chǔ)超752萬(wàn)IOPS，8控存儲(chǔ)超330萬(wàn)IOPS，均在各領(lǐng)域居全球第一），讓人印象深刻的還有它的穩(wěn)定，下面我們就來(lái)解析一下浪潮存儲(chǔ)在SPC-1里的極致穩(wěn)定表現(xiàn)。
SPC組織是存儲(chǔ)行業(yè)最專業(yè)的測(cè)試機(jī)構(gòu)，對(duì)于運(yùn)行在線類業(yè)務(wù)的存儲(chǔ)，推出了SPC-1測(cè)試規(guī)范，測(cè)試內(nèi)容主要包括metrics（包含Sustain長(zhǎng)穩(wěn)測(cè)試、Repeat壓力測(cè)試）、persistence測(cè)試，其中metrics主要關(guān)注存儲(chǔ)系統(tǒng)的性能和穩(wěn)定性，persistence主要關(guān)注數(shù)據(jù)一致性和系統(tǒng)可靠性。測(cè)試流程如下圖：
SPC-1測(cè)試流程
SPC-1的負(fù)載由3個(gè)ASU（應(yīng)用存儲(chǔ)單元組成），3個(gè)ASU模擬了不同的應(yīng)用存儲(chǔ)區(qū)域，包括臨時(shí)存儲(chǔ)區(qū)域ASU1、固定存儲(chǔ)區(qū)域ASU2，日志存儲(chǔ)區(qū)域ASU3，一共對(duì)應(yīng)8個(gè)IO stream，業(yè)務(wù)模型如下圖：
整個(gè)SPC-1測(cè)試既非?？茖W(xué)，又非常嚴(yán)格，涵蓋了存儲(chǔ)系統(tǒng)會(huì)遇到的各種壓力模型，最真實(shí)的反映了客戶在線業(yè)務(wù)的需求，除了性能這一指標(biāo)外，在系統(tǒng)穩(wěn)定性和可靠性上也提出了極高的要求，比如8小時(shí)的持續(xù)烤機(jī)測(cè)試，不同負(fù)載下的穩(wěn)定性測(cè)試，靜默測(cè)試，循環(huán)壓力測(cè)試，反復(fù)掉電測(cè)試等，中間不能出現(xiàn)任何問(wèn)題，浪潮存儲(chǔ)經(jīng)受住了嚴(yán)格考驗(yàn)，交出了一份令人滿意的答卷。
為什么浪潮存儲(chǔ)能做到極致穩(wěn)定呢？
下面我們就從方案架構(gòu)、軟件架構(gòu)、硬件架構(gòu)、可靠性測(cè)試等方面來(lái)逐一剖析。需要特別說(shuō)明的是，我們關(guān)注存儲(chǔ)的穩(wěn)定性的時(shí)候，許多人只是注意到存儲(chǔ)方案和軟件架構(gòu)，實(shí)際上存儲(chǔ)硬件，如架構(gòu)、設(shè)計(jì)、工藝，是否能經(jīng)受嚴(yán)苛的環(huán)境和極限的考驗(yàn)，也同樣重要，在本文的后面會(huì)詳細(xì)闡述浪潮存儲(chǔ)從架構(gòu)及軟硬件方面如何確保穩(wěn)定性的。
其一，如何從存儲(chǔ)方案上做到極致穩(wěn)定
首先從方案架構(gòu)來(lái)講，浪潮存儲(chǔ)提供了業(yè)界最為豐富的方案級(jí)的存儲(chǔ)保護(hù)策略，比如同步異步復(fù)制、雙活、兩地三中心等功能。
在短距離（<300公里）場(chǎng)景下，浪潮提供存儲(chǔ)雙活和同步復(fù)制解決方案，并且在業(yè)內(nèi)創(chuàng)新性的實(shí)現(xiàn)了免網(wǎng)關(guān)雙活（如下圖右所示），減少了IO路徑，降低了時(shí)延，更重要的是，減少了故障點(diǎn)，提高了系統(tǒng)穩(wěn)定性，兩種方案對(duì)比如下圖：
|
|
|
|
代表廠家（網(wǎng)關(guān)雙活）：EMC VPLEX |
代表廠家（免網(wǎng)關(guān)）：浪潮存儲(chǔ) 等 |
在遠(yuǎn)距離場(chǎng)景下（>300公里），浪潮提供異步遠(yuǎn)程容災(zāi)方案，利用高性能磁盤陣列的高級(jí)數(shù)據(jù)復(fù)制功能，實(shí)現(xiàn)超遠(yuǎn)距離的數(shù)據(jù)遠(yuǎn)程復(fù)制。
浪潮存儲(chǔ)的異步遠(yuǎn)程容災(zāi)方案
針對(duì)最關(guān)鍵的業(yè)務(wù)，業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全性要求非常高，浪潮提供了兩地三中心存儲(chǔ)解決方案，在生產(chǎn)機(jī)房做雙活高可用，同時(shí)在異地做遠(yuǎn)程數(shù)據(jù)容災(zāi)，最大程度的保障了業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全性。
兩地三中心存儲(chǔ)解決方案
其二，如何從軟件架構(gòu)上做到極致穩(wěn)定
從軟件架構(gòu)講，為了做到極致穩(wěn)定，浪潮存儲(chǔ)采用了統(tǒng)一、極簡(jiǎn)的平臺(tái)，可以在一套軟件棧上實(shí)現(xiàn)SAN和NAS的統(tǒng)一，實(shí)現(xiàn)基于機(jī)箱帶內(nèi)管理和帶外管理的統(tǒng)一，實(shí)現(xiàn)獨(dú)立機(jī)頭和盤框一體架構(gòu)的統(tǒng)一，實(shí)現(xiàn)本地存儲(chǔ)和異構(gòu)存儲(chǔ)的統(tǒng)一，除此之外，浪潮在很多軟件特性上也做了獨(dú)有的創(chuàng)新：
浪潮存儲(chǔ)采用統(tǒng)一、極簡(jiǎn)的存儲(chǔ)軟件棧
1、 所有功能模塊，均采用輕量級(jí)用戶態(tài)模式，減少了用戶態(tài)與內(nèi)核態(tài)的直接交互，大大降低了對(duì)內(nèi)核的影響。一旦進(jìn)程發(fā)生故障，可以在用戶態(tài)進(jìn)行進(jìn)程重新拉起，進(jìn)行輕量級(jí)的故障恢復(fù)，不必進(jìn)行控制器復(fù)位操作， 從而實(shí)現(xiàn)系統(tǒng)的IO連續(xù)，不中斷，提高了系統(tǒng)的穩(wěn)定性
2、 采用分布式Raid，無(wú)單獨(dú)的熱備盤，硬盤故障時(shí)其他所有硬盤同時(shí)參與重構(gòu)，大大降低了硬盤重構(gòu)時(shí)間，降低了二次故障帶來(lái)數(shù)據(jù)丟失的風(fēng)險(xiǎn)
3、 所有固件可在線升級(jí)（比如BIOS、CPLD、Oses、FW、BMC等），確?？蛻魳I(yè)務(wù)平穩(wěn)運(yùn)行，最大程度的降低了升級(jí)操作對(duì)客戶業(yè)務(wù)的影響
4、 豐富的故障檢測(cè)手段，比如軟件版本檢測(cè)、誤碼檢測(cè)、帶寬檢測(cè)、速率檢測(cè)、慢盤檢測(cè)等，可以確保系統(tǒng)在出現(xiàn)任何故障的時(shí)候，能第一時(shí)間找到問(wèn)題根因，快速更換故障部件，盡快使系統(tǒng)恢復(fù)穩(wěn)定
5、 豐富的存儲(chǔ)安全特性，比如本地復(fù)制、克隆、快照、鏡像等，確保存儲(chǔ)安全穩(wěn)定
6、 針對(duì)SSD的應(yīng)用，業(yè)界一直有個(gè)難題，就是如何在SSD上實(shí)現(xiàn)數(shù)據(jù)均衡分配，浪潮存儲(chǔ)針對(duì)SSD進(jìn)行單獨(dú)的固件優(yōu)化，會(huì)選擇較新的顆粒進(jìn)行擦寫，較老的隨后擦寫，實(shí)現(xiàn)全局智能動(dòng)態(tài)均衡，延長(zhǎng)SSD壽命
7、 端到端的數(shù)據(jù)一致性保障，數(shù)據(jù)在存儲(chǔ)系統(tǒng)傳輸中，經(jīng)過(guò)了多個(gè)部件、多種傳輸通道和復(fù)雜的軟件處理過(guò)程，其中任意一個(gè)環(huán)節(jié)發(fā)生錯(cuò)誤都可能會(huì)導(dǎo)致數(shù)據(jù)錯(cuò)誤。浪潮存儲(chǔ)提供了從主機(jī)HBA卡到存儲(chǔ)陣列再到硬盤的T10 PI校驗(yàn)，保證了數(shù)據(jù)完整性
8、 有很多客戶在做IT規(guī)劃的時(shí)候，總是會(huì)不免擔(dān)心電源不穩(wěn)的情況，而這在生產(chǎn)環(huán)境不可避免，浪潮存儲(chǔ)也提前考慮到這種場(chǎng)景，并采用業(yè)界領(lǐng)先的AC電源防抖技術(shù)，在市電短暫掉電時(shí)（<5s），存儲(chǔ)仍能對(duì)外提供業(yè)務(wù)，大大提高了系統(tǒng)的可用性
其三，如何從硬件架構(gòu)上做到極致穩(wěn)定
從硬件架構(gòu)講，浪潮存儲(chǔ)沿用和創(chuàng)新了業(yè)界先進(jìn)的技術(shù)和理念，從整機(jī)部件，到硬件工程，到高速互聯(lián)，到電源、固件，浪潮都有大量的專利，積淀了非常豐富的實(shí)踐經(jīng)驗(yàn)，并創(chuàng)新性的應(yīng)用到存儲(chǔ)產(chǎn)品里
浪潮存儲(chǔ)具備從材料到整機(jī)，全方位硬件設(shè)計(jì)能力
1、部件在線自檢，及時(shí)發(fā)現(xiàn)隱藏故障，做好提前預(yù)防，比如針對(duì)BBU，系統(tǒng)每隔一段時(shí)間會(huì)進(jìn)行一次故障模擬測(cè)試，以便隱藏的故障能及時(shí)發(fā)現(xiàn)；
2、豐富全面的溫度感知能力，從芯片，到部件，到板卡，再到機(jī)箱，存儲(chǔ)提供了最為豐富的溫度感應(yīng)系統(tǒng)，可以感知到任何一個(gè)芯片，任何一個(gè)部件出現(xiàn)的任何溫度異常， 以便能第一時(shí)間找出故障點(diǎn)，盡快使系統(tǒng)恢復(fù)穩(wěn)定；
3、所有元器件及模塊均采用業(yè)界最嚴(yán)格的可靠性設(shè)計(jì)標(biāo)準(zhǔn)，比如電阻、電容等元器件的耐壓值大于額定工作電壓的2倍，電源模塊實(shí)際功耗不超過(guò)額定功率的70％，大大降低了超規(guī)格使用帶來(lái)的失效風(fēng)險(xiǎn)，有效提升了系統(tǒng)的穩(wěn)定性。
4、背板采用無(wú)源設(shè)計(jì)，最大程度的減小了元器件失效帶來(lái)的整體故障風(fēng)險(xiǎn)，大大降低了故障率，保障業(yè)務(wù)長(zhǎng)期穩(wěn)定運(yùn)行；
5、所有部件均提供冗余，控制器、電源、風(fēng)扇、BBU等主要部件均有冗余，以確保在出現(xiàn)任何單一部件故障的時(shí)候，不會(huì)影響客戶業(yè)務(wù)；
其四，如何利用可靠性測(cè)試做到極致穩(wěn)定
除了架構(gòu)及軟硬件上的設(shè)計(jì)確保存儲(chǔ)的穩(wěn)定可靠，浪潮在研發(fā)和生產(chǎn)中還做了很多“臟活”，正是這些“臟活”，進(jìn)一步確保了浪潮存儲(chǔ)的極致穩(wěn)定，比如：
在研發(fā)過(guò)程中，所有產(chǎn)品都會(huì)經(jīng)過(guò)嚴(yán)格的環(huán)境測(cè)試，比如高低溫極限測(cè)試、震動(dòng)極限測(cè)試、八角測(cè)試（溫度、電壓、時(shí)鐘頻率的任意拉偏組合）、溫循測(cè)試、濕度測(cè)試等業(yè)界最苛刻的應(yīng)力測(cè)試，在八角測(cè)試?yán)?，?huì)特地將相關(guān)參數(shù)拉偏，比如溫度下降到-10度或上升到50度（正常運(yùn)行是20度左右），電壓拉低到3.2V或拉高到3.4V（正常運(yùn)行是3.3V），頻率拉低到24.99M或拉高到25.01M（正常25M），實(shí)現(xiàn)三種參數(shù)的任意組合，進(jìn)而找到系統(tǒng)的最薄弱點(diǎn)。
極限震動(dòng)測(cè)試
存儲(chǔ)和其他電子產(chǎn)品一樣，其故障模型也會(huì)遵循浴盆曲線，在產(chǎn)品剛上市時(shí)，故障出現(xiàn)概率較大，度過(guò)早期運(yùn)行后，故障出現(xiàn)的概率會(huì)大大降低，因此為了讓產(chǎn)品在客戶處穩(wěn)定運(yùn)行，必須把早期故障篩選出來(lái)，浪潮存儲(chǔ)在出貨前，會(huì)經(jīng)過(guò)老化測(cè)試、常穩(wěn)測(cè)試等烤機(jī)測(cè)試，以確保早期故障能在出貨前有效攔截，降低產(chǎn)品在客戶處的故障率，提升產(chǎn)品在現(xiàn)網(wǎng)運(yùn)行的穩(wěn)定性
電子器件故障浴盆曲線
硬盤是易故障部件，也是各存儲(chǔ)廠家和客戶最為困惑的難題，為了解決這一難題，浪潮在生產(chǎn)出貨前會(huì)經(jīng)過(guò)嚴(yán)格的性能和穩(wěn)定性測(cè)試，比如帶寬測(cè)試、訪問(wèn)時(shí)延測(cè)試，可以確保所有出貨硬盤的質(zhì)量得到有效保證，據(jù)統(tǒng)計(jì)，浪潮存儲(chǔ)的硬盤平均故障率不到0.1%（即1000塊盤，一年內(nèi)最多有一塊盤故障），大大低于業(yè)內(nèi)平均水平。
浪潮存儲(chǔ)在SPC-1里體現(xiàn)出的極致穩(wěn)定
存儲(chǔ)是一個(gè)極為復(fù)雜的系統(tǒng)，不僅要有成熟的方案架構(gòu)和軟硬件架構(gòu)，更要有匠心般的追求，在最細(xì)微處也要做到極致，才能給客戶提供最為穩(wěn)定可靠的系統(tǒng)，浪潮存儲(chǔ)很好的踐行了這一理念！
核心技術(shù)總結(jié)
浪潮存儲(chǔ)：
擁有最為豐富的方案級(jí)容災(zāi)，比如雙活、異地容災(zāi)、兩地三中心等，保障存儲(chǔ)方案級(jí)的極致穩(wěn)定。
擁有極簡(jiǎn)的軟件架構(gòu)平臺(tái)，實(shí)現(xiàn)多種場(chǎng)景下的架構(gòu)統(tǒng)一，并通過(guò)豐富的存儲(chǔ)高級(jí)特性（比如快照、鏡像、克隆等），提供產(chǎn)品軟件級(jí)的極致穩(wěn)定。
擁有豐富的硬件全棧解決能力，從底層部件，到硬件工程，到高速互聯(lián)，到整機(jī)交付，擁有大量的設(shè)計(jì)經(jīng)驗(yàn)，提供產(chǎn)品硬件級(jí)的極致穩(wěn)定。
擁有唯一落戶在企業(yè)的存儲(chǔ)國(guó)家重點(diǎn)實(shí)驗(yàn)室和存儲(chǔ)工程技術(shù)研究中心，提供業(yè)界最嚴(yán)格的部件篩選及整機(jī)可靠性測(cè)試，保障產(chǎn)品工程級(jí)別的極致穩(wěn)定。
感謝一些同事的分享或啟發(fā)包括Rain Zou; Kenny Peng; Will Wang; Song Yang; Steven Meng; Tingmao Han等。
京公網(wǎng)安備 11010502049343號(hào)