閃存存儲(chǔ)當(dāng)前越來(lái)越多的應(yīng)用于企業(yè)級(jí)環(huán)境，特別是提升數(shù)據(jù)庫(kù)性能方面。本次分享主要介紹閃存的特性，閃存的劣勢(shì)及其解決機(jī)制，以及采用閃存存儲(chǔ)時(shí)數(shù)據(jù)庫(kù)的一些優(yōu)化思路。
目錄
閃存的特性
閃存的劣勢(shì)及其解決機(jī)制
數(shù)據(jù)庫(kù)場(chǎng)景測(cè)試
一.閃存的特性
凡是采用Flash Memory的存儲(chǔ)設(shè)備，可以統(tǒng)稱為閃存存儲(chǔ)。我們經(jīng)常談的固態(tài)硬盤(pán)(SSD)，可以由volatile/non-volatile memory構(gòu)成，其實(shí)固態(tài)硬盤(pán)的范疇是大于閃存的，只是當(dāng)前的固態(tài)硬盤(pán)大多數(shù)采用閃存介質(zhì)，所以很多時(shí)候我們默認(rèn)固態(tài)硬盤(pán)就是閃存盤(pán)。
除了閃存以外，還有其它多種快速存儲(chǔ)技術(shù)，如DRAM ，NVRAM， MRAM and Spin-Torque(自旋力矩磁阻式隨機(jī)存取內(nèi)存)， Carbon Nanotube( 碳納米管 )， Phase Change Memory(相變內(nèi)存)，Memristor ( 憶阻器 )等等。
未來(lái)存儲(chǔ)設(shè)備的創(chuàng)新其實(shí)就是存儲(chǔ)材料的創(chuàng)新，這也是國(guó)外很多初創(chuàng)的半導(dǎo)體公司一個(gè)研發(fā)的方向。
從半導(dǎo)體的角度來(lái)看，閃存屬于非易失性存儲(chǔ)，但是屬于不可靠介質(zhì)。因?yàn)殚W存是采用電子驅(qū)動(dòng)，因此具有電子元器件所固有的缺陷，電子泄露，衰減等等。
決定閃存存儲(chǔ)大規(guī)模應(yīng)用的主要因素是量產(chǎn)規(guī)模、穩(wěn)定性以及經(jīng)濟(jì)性。
閃存設(shè)備隨著使用時(shí)間和數(shù)據(jù)量的增長(zhǎng)，壞塊會(huì)逐漸增加，會(huì)產(chǎn)生大量的ECC Error，這時(shí)設(shè)備性能和可靠性會(huì)大幅度下降，對(duì)應(yīng)用性能和數(shù)據(jù)安全帶來(lái)影響。閃存產(chǎn)品在使用過(guò)程中往往會(huì)存在性能衰減和可靠性下降的問(wèn)題。這里提醒一下，如果我們使用閃存產(chǎn)品，一定要使用工具監(jiān)控閃存產(chǎn)品的健康狀態(tài)，防止老化，數(shù)據(jù)丟失。
通過(guò)對(duì)閃存產(chǎn)品的良好設(shè)計(jì)和質(zhì)量控制，也可以避免性能衰減和可靠性下降的問(wèn)題，但是往往會(huì)帶來(lái)成本的增加和性能的下降(相比于直寫(xiě)閃存)。
對(duì)于企業(yè)級(jí)應(yīng)用而言，穩(wěn)定是第一位，其次是易用性，第三才是性能。閃存設(shè)備的性能相比于應(yīng)用的需要是足夠的。
閃存在企業(yè)級(jí)以及數(shù)據(jù)中心的應(yīng)用，實(shí)際上也是依賴于互聯(lián)網(wǎng)以及大數(shù)據(jù)的興起。
互聯(lián)網(wǎng)的分布式架構(gòu)以及多副本保護(hù)機(jī)制，消除了集中式存儲(chǔ)的瓶頸，滿足了海量用戶以及應(yīng)用的請(qǐng)求，帶來(lái)了更高的性能需求。同時(shí)多副本的保護(hù)機(jī)制，又解決了閃存作為不可靠介質(zhì)可能帶來(lái)的數(shù)據(jù)存儲(chǔ)安全的問(wèn)題。
但是由于閃存的可靠性問(wèn)題，其實(shí)互聯(lián)網(wǎng)客戶也是有選擇地在特定業(yè)務(wù)上使用閃存，并不是在所有業(yè)務(wù)上都使用閃存設(shè)備。
有的時(shí)候我們還會(huì)發(fā)現(xiàn)意外斷電后，閃存設(shè)備故障，這往往是由于電路保護(hù)機(jī)制不完善或固件bug造成的。
二. 閃存的劣勢(shì)及其解決機(jī)制
在使用閃存設(shè)備的時(shí)候，我們需要考慮的問(wèn)題要比使用磁盤(pán)多。
當(dāng)前我們碰到的很多問(wèn)題是，相比于IOPS，閃存比磁盤(pán)性能高上幾十甚至上百倍，但是我們將數(shù)據(jù)放置到閃存上，性能提升并沒(méi)有這么高，甚至沒(méi)有提高。
原因是閃存主要解決的是IO性能問(wèn)題，并且主要隨機(jī)寫(xiě)的性能，而順序讀寫(xiě)性能并不如多塊磁盤(pán)匯聚之后的性能。
Linux文件系統(tǒng)
以Linux為例，Linux ext4屬于日志型文件系統(tǒng)，為了保護(hù)數(shù)據(jù)安全，通過(guò)Journal機(jī)制提供一致性保護(hù)。那么我們?cè)诓渴疬^(guò)程中可以將Journal日志放置到閃存上，可以提升IO性能。因?yàn)閼?yīng)用的IO操作還是通過(guò)OS層面完成的，因此OS層面的IO性能提升也可以帶來(lái)應(yīng)用性能提升。
另外，操作系統(tǒng)以及應(yīng)用的IO層往往是針對(duì)磁盤(pán)的特性進(jìn)行了優(yōu)化，這些優(yōu)化往往不適用于閃存設(shè)備，甚至還有副作用。例如OS層面IO scheduler有三種模式，CFQ、Deadline和noop，其中前兩種模式是針對(duì)磁盤(pán)低IO特性和物理尋道機(jī)制進(jìn)行優(yōu)化的，例如做IO合并、尋道算法等等，會(huì)有默認(rèn)的等待嚴(yán)實(shí)以等到更多的IO block進(jìn)行合并和處理。對(duì)于閃存而言，是不存在尋道處理的，因此前兩種處理機(jī)制反而會(huì)造成延時(shí)增加。如果我們?cè)谙到y(tǒng)中使用了SSD，需要將IO scheduler調(diào)整為noop模式。
三. 數(shù)據(jù)庫(kù)場(chǎng)景測(cè)試
剛才談到為了保證數(shù)據(jù)安全，我們需要在Linux采用Journal模式，但是MySQL也有double write的機(jī)制，我們需要怎么既保證數(shù)據(jù)安全，又不會(huì)增加過(guò)多的機(jī)制造成性能下降。我們?cè)谖覀兊拈W存產(chǎn)品上做了這方面的測(cè)試。
上面是mySQL的寫(xiě)入機(jī)制。當(dāng)系統(tǒng)意外斷電時(shí)，數(shù)據(jù)庫(kù)16K的頁(yè)面可能沒(méi)有完成，就會(huì)出現(xiàn)partial write，而partial write會(huì)造成數(shù)據(jù)庫(kù)損壞。
MySQL 的Double write就是為了解決partial write造成的問(wèn)題，但是DW也會(huì)帶來(lái)兩個(gè)問(wèn)題，性能懲罰和對(duì)SSD的磨損增加。
我們按照上面的場(chǎng)景在我們的閃存卡上進(jìn)行了測(cè)試。
在安全性層面，只要Metadata Journal+DW或Metadata Journal+Data Journal，都可以保護(hù)數(shù)據(jù)庫(kù)數(shù)據(jù)的安全，也就是意外掉電數(shù)據(jù)不會(huì)損壞，數(shù)據(jù)庫(kù)可以正常啟動(dòng)，數(shù)據(jù)不丟失。
但是在CPU bound的情況下，前個(gè)組合的性能衰減(8%)要小于后面的保護(hù)組合(10%)。如果是在IO bound的情況下，前個(gè)組合的性能衰減(10%)要小于后面的保護(hù)組合(34%)。但是DW下的數(shù)據(jù)寫(xiě)入量會(huì)比后者增加23%，也就是會(huì)增加SSD的磨損。這個(gè)是我們?cè)趹?yīng)用時(shí)需要注意的。
另外，我們?cè)谧鯠B2的測(cè)試時(shí)也發(fā)現(xiàn)幾個(gè)問(wèn)題：
閃存存儲(chǔ)在非分區(qū)表的簡(jiǎn)單的查詢統(tǒng)計(jì)條件的查詢方面具有明顯的優(yōu)勢(shì)和性能提升，性能提升3到4倍，但是在分區(qū)表的統(tǒng)計(jì)和加限制條件的查詢方面的性能提升并不明顯。而且對(duì)相應(yīng)的復(fù)雜的存儲(chǔ)過(guò)程的統(tǒng)計(jì)計(jì)算未能體現(xiàn)出優(yōu)勢(shì)。這可能是由于分區(qū)表設(shè)計(jì)機(jī)制主要是面向磁盤(pán)性能優(yōu)化，在閃存上反而有負(fù)面影響。
另外我們?cè)贠racle數(shù)據(jù)庫(kù)上應(yīng)用閃存測(cè)試時(shí)發(fā)現(xiàn)，帶子查詢的多表關(guān)聯(lián)查詢語(yǔ)句的存儲(chǔ)過(guò)程的調(diào)用性能表現(xiàn)很差，查看AWR發(fā)現(xiàn)大量的cache latch，出現(xiàn)長(zhǎng)時(shí)間等待， 而在磁盤(pán)存儲(chǔ)上沒(méi)有這種情況。我們分析是由于閃存的性能比磁盤(pán)高很多，造成cursor數(shù)據(jù)量大，緩存內(nèi)的latch沖突增加。通過(guò)增大share pool和將復(fù)雜查詢處理簡(jiǎn)化為多個(gè)小查詢處理可以解決這個(gè)問(wèn)題，性能也得到明顯提升。
Q & A
Q1 : 請(qǐng)問(wèn)閃存和磁盤(pán)的比較中MTBF是什么意思?
A1：MTBF(Mean Time Before Failure),失敗前平均工作時(shí)間。閃存其實(shí)是沒(méi)有MTBF的概念的，因?yàn)殚W存有擦寫(xiě)次數(shù)的限制，數(shù)據(jù)擦寫(xiě)到一定數(shù)量后，閃存介質(zhì)就會(huì)物理性地?fù)p壞，閃存的壽命是可以通過(guò)監(jiān)控使用狀況推算出來(lái)的。而磁盤(pán)的損壞其實(shí)是概率，會(huì)有MTBF指標(biāo)。
Q2 : 請(qǐng)問(wèn)在測(cè)試db2的時(shí)候，是dpf環(huán)境，還是單機(jī)?
A2：?jiǎn)螜C(jī)。
Q3：mysql是基于xfs測(cè)試的嗎?
A3：Mysql測(cè)試時(shí)是基于ext4的。
Q4：閃存產(chǎn)品有沒(méi)有不同的系列，類似傳統(tǒng)的高中低端存儲(chǔ)那樣的分類?
A4：閃存也分高中低的，用于企業(yè)級(jí)高性能的一般以PCIe NVMe卡的形式為主。其實(shí)閃存產(chǎn)品的質(zhì)量標(biāo)準(zhǔn)還有很多細(xì)分，這里就不細(xì)說(shuō)了。
Q5：請(qǐng)問(wèn)能談?wù)凷pacex用的閃存產(chǎn)品嗎?
A5：SpaceX用的是我們嵌入式閃存產(chǎn)品，和我們企業(yè)級(jí)閃存采用同樣的技術(shù)架構(gòu)和閃存顆粒。主要用于控制代碼存儲(chǔ)和運(yùn)行狀態(tài)數(shù)據(jù)存儲(chǔ)。
Q6：請(qǐng)問(wèn)您有測(cè)過(guò)云主機(jī)的ssd 嗎?
A6 : 云主機(jī)的SSD基本上都采用SATA SSD，當(dāng)前云計(jì)算平臺(tái)在數(shù)據(jù)庫(kù)應(yīng)用方面還是個(gè)弱項(xiàng)。我們下一步計(jì)劃在ceph分布式存儲(chǔ)上進(jìn)行數(shù)據(jù)庫(kù)測(cè)試，這也是嘗試在云計(jì)算平臺(tái)上運(yùn)行關(guān)鍵數(shù)據(jù)庫(kù)應(yīng)用。
Q7：寫(xiě)放大，和抖動(dòng)的問(wèn)題現(xiàn)在已經(jīng)改善了很多吧?
A7 :寫(xiě)放大和抖動(dòng)問(wèn)題是考驗(yàn)閃存廠商的一個(gè)關(guān)鍵指標(biāo)，在產(chǎn)品設(shè)計(jì)的時(shí)候就要考慮。各家處理的方式都不一樣。我們能做到最大的WAF是6。而在性能抖動(dòng)方面自認(rèn)為處理最好的是我們的產(chǎn)品，因?yàn)樾阅芏秳?dòng)主要是由垃圾回收處理和磨損平衡處理引起的。而我們采用的分區(qū)擦除算法和三重磨損平衡算法是完全基于對(duì)閃存顆粒底層的特性了解和經(jīng)驗(yàn)積累。另外SSD還有一個(gè)很大的問(wèn)題是性能衰減。使用1，2年后，性能可能只有原來(lái)的一半或者更低，性能波動(dòng)也會(huì)頻繁出現(xiàn)。
京公網(wǎng)安備 11010502049343號(hào)