閃存存儲的性能與傳統磁盤的差異，是眾所周知的事情。但是，閃存顆粒在物理層面可靠性和穩定性的問題往往被有意或無意地忽視。那么，針對閃存存儲的性能優勢和持久性劣勢應該采取什么樣的解決機制?當前文件系統設計與閃存存儲結合存在哪些問題?同時閃存存儲在不同的文件系統中具備哪些應用模式和特點 ?這些問題一直困擾著關注閃存與文件系統應用的朋友。

作為DTCC本年度的白金贊助商之一，閃存領域領導性廠商Greenliant亞太營銷副總裁李炫輝分析指出，在過去，閃存與文件系統這兩個方面是不搭界的事情。因為閃存存儲更關注物理介質以及集成電路與底層訪問控制，文件系統更關注對上層的應用提供存儲的功能和特性。但是，正如CPU多核技術帶來操作系統和應用采用多線程/進程并發機制提升性能一樣，閃存介質的出現也對文件系統應用有所影響和變化。因此，首先需要從了解閃存存儲的底層特性、實現機制以及優劣勢，揚長避短，利用現有文件系統和閃存優化的文件系統，充分發揮閃存存儲的優點，一步一步地解決現在面臨的問題。

你所知道的閃存特性和架構是什么樣子?

在回答這個問題之前，我們必須搞清楚一個常識問題：現在談論閃存和固態硬盤的概念實際上不太一樣，凡是使用Flash Memory的都叫閃存，實際上后者只是一個封裝的狀態，固態硬盤可以封裝Flash Memory也可以是非Flash Memory，目前大部分閃存廠商采用的都是Flash Memory的固態盤， 一般都把固態盤叫閃存，閃存也叫固態盤，所以也統稱閃存。

除了閃存以外，還有其它多種快速存儲技術，如DRAM ，NVRAM， MRAM and Spin-Torque(自旋力矩磁阻式隨機存取內存)， Carbon Nanotube( 碳納米管 )， Phase Change Memory(相變內存)， Memristor ( 憶阻器 )等等。

決定快速存儲大規模應用的主要因素是量產規模、穩定性以及經濟性，有量產規模才能提供可能，有了量產規模才能對閃存穩定性和性能進行驗證， 再就是經濟性如何體現，這些因素決定了快速存儲大規模應用。當前，閃存主要用于IO性能加速環境，如數據庫加速、虛擬化、延時敏感型應用、Server SAN或SDS、大數據處理等等方面，也是從2010年左右，閃存才開始大規模應用。

那么閃存物理特性的優劣表現在哪些方面呢?

從閃存物理性來看，閃存談論最多的就是SLC,MLC，它們分別是Single-Level Cell 單層單元和Multi-Level Cell多層單元的縮寫，Cell就是一個物理單元，有固定隔離柵和浮動隔離柵，進行計數時候，是電子打到浮動隔離柵產生電位，電位變化形成數據00、01、11、10等，當進行操作，就是要電子進行擊穿，在進行改變的時候，將電子通過引槽流出Cell，并產生變化。

閃存為什么有擦寫次數限制呢?當進行數據擦寫，電子流出時候，物理隔離柵就會變薄，變薄到一定程度就沒有絕緣的機制了，電子進入就會漏掉，那么就會壞掉，就出現閃存擦寫次數的問題。

當前NAND Flash面臨的挑戰主要是耐久性、數據保持性、讀寫干擾、制造工藝缺陷，耐久性受制于閃存顆粒的擦寫次數，同時數據保持性是指閃存將數據存在一個Cell中，仍然存在電子泄漏和電子輻射造成數據丟失情況。讀寫干擾是指對一個Cell進行讀寫操作時對臨近的Cell也會產生干擾。制造工藝也存在不同的品質。另外，SLC比MLC品質要好，Cell都一樣，但前者只有兩個狀態位，后者有4個狀態位，那么后者讀寫數據的擦寫次數要增加，壽命自然會縮短。

當前SSD主要使用NAND Flash，屬于非易失性存儲介質，成本比較低。物理特性不容易改變，那么如何優化顯得很重要。

有一個情況需要指出，對于半導體廠商而言，在不斷降低制程，密度越來越高，工藝控制難度增加，造成NAND Flash可靠性隨制造工藝減小而降低，如擦寫次數降低，大容量閃存里面就更容易出現錯誤。這也就是當前閃存廠商開始更專注 3D NAND 制程工藝的原因。

明白了閃存的物理特性之后，你們清楚閃存與磁盤到底存在哪些區別呢?

閃存的性能與磁盤系統的對比毋庸置疑，前者是電子驅動，后者是機械驅動，閃存的性能是磁盤的幾十倍到上百倍，但是在可靠性和穩定性層面，閃存和磁盤卻有很大的差異，例如磁盤性能隨時間變化不會有變動，15000轉硬盤十年以后還是15000轉，而閃存存儲則隨時間和數據擦寫量增長存在波動和衰減;閃存在擦寫次數方面有限制，但磁盤沒有限制;在MTBF方面磁盤可以到200萬小時，而閃存則與擦寫次數密切相關。當前阻礙閃存大規模應用于企業級應用的主要問題不是性能，而是閃存設備的可靠性，如何在閃存產品的生命周期內保證山村的可靠和性能無衰減是關鍵。

如何提升閃存可靠性和保障性能無衰減，則需要在閃存設備的架構設計方面下功夫。閃存控制器是閃存設備的核心，是聯系主機和NAND Flash的橋梁，閃存控制器的管理功能包括了： Error-correcting code (ECC校驗)、RAID保護機制、Wear leveling(磨損平衡)、Bad block mapping(壞塊管理)、Read/write disturb management(讀寫干擾管理)、Garbage collection(垃圾收集)等。

與此同時，閃存控制器也有其它定制化功能，如加密、安全擦除或自毀、壓縮或去重方面。

由于NAND Flash的工藝不能保證NAND的Memory Array在其生命周期中的可靠性，因此在NAND的生產中及使用過程中會產生壞塊。為了檢測數據的可靠性，在應用NAND Flash的系統中一般都會采用一定的壞區管理策略，而管理壞區的前提是能比較可靠的進行壞區檢測。

NAND ECC校驗機制比較復雜，由行校驗、列校驗 組合而成，當出現多位錯誤時候，可以通過ECC 校驗恢復。常用的ECC算法有Hamming、Reed-Solomon碼、BCH、LDPC等，和使用顆粒類型相關。SLC一般采用Hamming校驗，MLC一般采用Reed-Solomon碼或BCH可以實現多位糾錯，LDPC一般針對3D NAND校驗。

常見的閃存卡ECC模塊設計，采用集中式ECC引擎設計，即在板卡的閃存控制器中集成1個或2個ECC引擎處理ECC校驗。當數據寫入NAND Flash時，會由ECC引擎生成ECC校驗碼，然后和數據一起寫入后端的閃存顆粒。當讀取時候，系統從顆粒里面讀出數據和ECC校驗碼，如果驗證一致就送出數據，如果發現數據和ECC校驗碼不一致，則需要通過ECC校驗獲得正確數據，然后寫回后送出數據。這種架構設計比較簡單，成本比較低，但是我們知道，當Flash設備隨著使用時間和數據量的增長，壞塊會逐漸增加，會產生大量的ECC Error，這時候由于ECC引擎成為系統瓶頸，設備性能和可靠性會大幅度下降，對應用性能和數據安全帶來影響。

如何消除性能衰減和可靠性下降的問題，這就需要在架構設計方面進行創新。Greenliant在閃存設備架構上實現了分布式ECC 設計架構， 在每一個NAND Package中都封裝一個閃存控制器里面。這樣就避免了前面所講的性能衰減和可靠性下降的問題。同時為了防止閃存顆粒故障造成數據丟失，在架構上還實現了板載硬件RAID的功能。

還有一個需要注意的區別：閃存與磁盤系統的物理地址映射有很大不同。

在磁盤里面邏輯塊地址LBA和物理塊地址PBA是一一對應的，磁盤只要寫的是這個LBA那么磁盤就一直會訪問這個地址，那么就存在熱點;對于閃存盤來說，由于存在擦寫次數的限制，則會通過磨損平衡算法，盡可能讓每個塊擦寫次數相同增加閃存設備的壽命，因此同一個LBA在不同的時間會指向不同的物理地址，因此文件系統需要閃存的這種特性做優化。

磨損平衡如何改變邏輯塊地址和物理地址對應?磨損平衡分為動態和靜態磨損平衡以及全局磨損平衡。動態磨損平衡寫一個文件時候，永遠寫在一個空白塊，空白塊寫完之后再寫回到之前的那些數據被刪除塊上，這樣循環地寫。但是當一個文件寫到閃存上就不很少被訪問，而其他塊被寫了幾十上百次，在這種情況下塊與塊的擦寫次數就不再一致，動態磨損平衡算法就失效了，因此我們又采用靜態磨損平衡算法，就是當一個塊擦寫次數和臨近塊次數超過一定閥值時我們就作一個數據存儲交換，這樣保證擦寫平衡。這樣有利于改善閃存耐久性，會優化閃存的性能。另外我們在顆粒級別會有全局磨損平衡算法，這樣進一步提升設備的可靠性。

可見，閃存可靠性通過閃存算法、控制器管理可以來優化。那么如何采用閃存存儲優化系統性能?

業界目前采用閃存存儲優化系統性能的方式主要包括三種：一是所有數據都放閃存存儲;二是混合模式一部分熱數據放閃存存儲;三是緩存架構如緩存熱數據在閃存存儲，如分層存儲將冷熱數據進行存儲分層。

這三種方式，都需要文件系統支持，由文件系統提供底層設備訪問。從幾個文件系統特點來展開分析，首先Linux Storage Stack Diagram version 3.17方面。

從這個圖中，我們可以看到從文件系統到底層設備，路徑很長，可見，文件系統是一個比較復雜的東西。這么長的訪問路徑會影響到閃存性能和延時優勢的發揮。針對這個問題，2012年英特爾提出NVMe標準，可以縮短閃存設備的訪問路徑，提升訪問堆棧性能，更能發揮閃存高IO性能和低延時優勢。

而對于高并發的應用而言，基于PCIe的NVMe協議更有明顯優勢。對于采用AHCI協議的設備來說，每個PCIe卡的ssd訪問都需要通過Core 0來管理，Core0成為該設備的控制核，這樣的控制機制就會降低性能和訪問的可靠性，但NVMe協議支持每個CPU Core采用獨立的鏈路，可以提高并發性能。

Linux文件系統是基于日志的文件系統，利用閃存提高Linux的文件系統性能可以采用以下幾種方式：1. 將Journal日志放置到閃存上，2. 對數據安全不要求的情況下可以禁用Journal，3.由于閃存不存在磁盤存儲的巡道和IO合并的需要，也可以禁用系統針對磁盤優化的merge/rotational等參數提高性能，4. Linux最新的Btrfs文件系統基于閃存特性做了訪問優化，也可以考慮采用Btrfs文件系統。

ZFS文件系統是也是一個非常有特色的文件系統，當前一些商業化存儲系統就是基于ZFS文件系統。ZFS文件系統載在設計時就考慮了通過閃存進行性能加速的方法。ZFS使用日志機制，ZFS intent log (ZIL) 處理同步寫，ZIL處理同步寫越快，系統性能越好。將閃存作為ZFS日志設備，可以大幅提升同步寫性能。ZFS的ARC(Adjustable Replacement Cache)讀緩存淘汰算法可以優化系統的讀性能，而SSD可以作為二級緩存L2ARC設備提供更大的緩存空間，緩存命中是最大限度能提高性能的。但是

當前比較熱門的Ceph文件系統，相對于底層的文件系統而言，Ceph文件系統更像是在底層文件系統之上的文件服務，在這里我們就不做過多介紹，但是Ceph文件系統也大量采用閃存進行性能加速。

針對閃存特性和文件系統應用的分析之后，那么當前閃存存在哪些問題呢?

問題之一在于，大多數操作系統和應用的存儲設計均是針對磁盤訪問特性進行優化的。由于傳統磁盤的機械設計，需要通過磁頭的旋轉進行尋道和數據IO操作，限制了磁盤的性能，因此操作系統和應用的底層算法大部分都是針對如何減少IO操作和尋道時間所設計的。

另外，磁盤存儲架構下為了提高IO性能采用了緩存設計，從而又增加了復雜的數據保護的處理機制。

還有就是，應用的并發度也限制了利用了閃存。

當前有些研究機構通過透明地繞過文件系統使用非易失性存儲器，在高并發的壓力下將閃存設備的性能提升7倍以上。

來自SNIA最新的技術思路， 利用NVMe標準訪問協議，針對閃存設備特性來設計存儲訪問機制。例如利用基于閃存設備的對象存儲結構，讓應用直接訪問底層閃存設備;再有通過閃存優化的文件系統，提供上層的文件訪問;對于一些應用提供核心層的閃存優化的塊訪問機制等等。

另外，出于成本的考慮，有些客戶將閃存設備作為磁盤的緩存，通過將SSD作為傳統磁盤的讀寫緩存以加速IO性能，這種使用方式其實會加速設備磨損，因為利用LFU，LRU，MRU等緩存算法，會帶來大量的碎片IO操作，造成讀也是寫的情況，加速了SSD設備的磨損。

李炫輝根據業界趨勢包括Greenliant的發展情況，對閃存做了一個很有意思的展望，他指出，未來閃存隨著經濟性越來越好，可靠性設計的逐步完善，那么面向NVMe閃存設備的訪問機制將會成為閃存應用的現實，針對NVMe閃存設備會做成一體化的架構。