對于NAS存儲設備而言，相對于塊存儲陣列增加了維護文件系統的開銷，因此主要針對的是非結構化數據用途。通常很少有人將Oracle數據庫等典型的OLTP交易型應用放在NAS上... 總之，恐怕有相當部分的企業級NAS（甚至集群NAS）用戶不在乎IOPS...
然而，在衡量SAN、DAS這些塊存儲設備時，除了高性能計算、視頻采集/編輯等少部分應用比較在意帶寬（MB/s）之外，絕大多數的企業數據中心環境里更看中的是隨機訪問IOPS性能。比如Oracle、DB2、SQL Server這些傳統關系型數據庫，Exchange Server、Lotus郵件服務器存儲等。
在機械硬盤時代，存儲的底層IOPS性能主要由HDD的平均訪問時間（平均尋道+平均等待時間）來決定，不同轉速（7,200/10,000/15,000rpm）硬盤的平均訪問時間基本上保持在一定的范圍內。這就導致為了提高企業級磁盤陣列的IOPS，主要依靠增加RAID/存儲池中的HDD數量，通過將應用程序的數據請求轉換為并發訪問來提高性能，無論它們是否需要相應的容量。時至今日，看一款外部存儲系統定位高低，支持的驅動器數量仍然是重要因素。還有些用戶通過短擊（short-stroking）——即限制訪問硬盤靠近最外圈的磁道，減少尋道時間來增加IOPS，但如此則可能進一步造成容量的浪費。
面對上述問題，以閃存為存儲介質的SSD（固態驅動器）可以說帶來了一場革命。由于沒有了HDD上讀寫磁頭那樣的活動機械部件，單個SSD就能夠提供幾千乃至數萬的IOPS，輕易可達傳統硬盤的10～100倍以上。而高寫入耐久度的SLC、eMLC（企業級MLC）閃存的主要市場就是企業級存儲。
在閃存驅動器普及的過程中，盡管越來越多的存儲系統開始支持SSD，不過相當部分采用傳統設計的磁盤陣列無法充分發揮出固態存儲高IOPS性能和低延時特點。于是出現了兩個新興市場：安裝在服務器中的PCIe閃存卡和全閃存陣列，前者的代表產品如Fusion-io，后者包括TMS（Texas Memory Systems）、Violin Memory，還有眾多初創廠商想在其中分得一杯羹。當然，現在它們可能還面臨著共享訪問、高可用、可擴展性等方面的問題，另外閃存的單位容量價格還遠高于硬盤，一定程度上限制了其發展。
面對SSD帶來的威脅，傳統企業存儲廠商的產品也在積極地通過固態存儲來提高效率。除了以EMCFAST、戴爾Compellent流動數據架構為代表的自動分層存儲技術之外，各種各樣以內存、閃存作為高速緩存的性能優化方式也層出不窮。比如NetApp陣列中將PCIe閃存卡用于讀緩存的Flash Cache、OracleSunZFS存儲設備支持的SSD讀/寫緩存，還有EMC很快要推出的Project Lightning服務器高速緩存、IBMXIV Gen3中即將加入的分布式SSD緩存支持等。未來鹿死誰手，我們還很難說...
SPC測試結果還有多少參考意義？
在一些存儲業內同行對基準測試結果嗤之以鼻的現狀下，筆者專門拿出SPC-1的數據進行分析，是否有點“逆潮流而動”的感覺？
一方面，我們承認一款上千塊硬盤的高端存儲系統SPC-1 IOPS測試成績，有可能和單個機箱的全閃存陣列相差無幾；另一方面，我們也贊同單純通過增加驅動器數量，甚至專門針對SPC-1進行優化來提高測試結果，不如結合具體用戶的應用特點來選擇/評估存儲設備。此外，除了可以完全自定義讀寫負載的存儲測試軟件Iometer，還有一些針對某款應用程序的Benchmark，比如：Oracle推出的Orion存儲測量工具、對存儲性能敏感的Oracle Swingbench負載生成器、微軟ESRP（Exchange Solution Reviewed Program）和JetStressExchange存儲測試等；也可以模擬用戶生產環境的數據集訪問特點，比如VDI（虛擬桌面基礎架構）中的啟動風暴來檢驗一款產品的實際性能。
不過，就像每次新一代服務器產品發布時，如同雪片般飛來的SPECCPU2006、Linpack、TPC-E等基準測試新紀錄那樣（盡管x86平臺已經高度標準化），企業存儲領域還是需要一個（相對）被業內公認、公布的參測產品成績較多，有一定普遍意義的綜合性基準測試，便于橫向對比。前文中討論過的SPECsfs2008只適合高性能（集群）NAS的競賽，在這里顯然還是非SPC-1莫數。
SPC（storage performance council，存儲性能理事會）：定義、管理和推動行業標準的、供應商中立的benchmark來描述存儲產品的性能
在這里，筆者先引用一段SNIA（存儲網絡工業協會）China教育委員會主席王紀奎先生主編的《成就存儲專家之路--存儲從入門到精通》一書中對SPC測試的介紹：
SPC的SPC-1和SPC-2
存儲性能理事會（storage performance council，SPC）是一家非營利組織，主要使命是定義存儲系統基準測試、實現其標準化并進行推廣，為計算機行業及其客戶提供客觀、可驗證的性能數據。SPC成員對所有公司、學術機構和個人開放。根據存儲行業的需要和行業所關心的問題，SPC在2001年創建了第一個行業標準性能基準測試，目標是推動存儲性能的提高。目前IBM，HP，Sun，HDS，Dell等存儲業內的巨頭都是SPC的重要會員，并且都視自身產品獲得更高的SPC標準評分為榮譽。由于某種原因，存儲業內的另一個巨頭EMC一直未能參加SPC，這不免讓我們有些遺憾。
SPC最為著名的標準是SPC-1和SPC-2。幾乎每個月都會有廠商將自己產品的SPC-1和SPC-2的測試結果公布，可以說這兩個標準是目前存儲業內公認的最為活躍的測試標準。
SPC-1基準測試體現了存儲供應商衡量存儲系統處理復雜請求和大量數據的基本性能，其主要衡量存儲系統在隨機I/O負荷下的吞吐量（IOPS）。而SPC-2則主要衡量在各種高負荷連續讀寫應用場合下存儲系統的帶寬（MB/s）。
SPC-1設計一個專門為測試存儲系統在典型業務應用場合下的負載模型，這個負載模型連續不斷地對業務系統并發的做查詢和更新的工作，因此其主要由隨機I/O組成。這些隨機I/O的操作涉及數據庫型的OLTP應用以及E-mail系統應用，能夠很好地衡量存儲系統的吞吐量（IOPS）指標。
SPC-2與SPC-1測量的模式完全不同，它由3個不同負荷模型構成，主要衡量存儲系統在連續大規模移動數據時的性能。這3種負荷模型包括：
（1） 大文件處理模型。該模型模擬同時讀寫多個大容量模型的應用場景，這些場景一般常用在科學計算和大規模金融計算領域中。
（2） 大數據量的數據庫查詢模型。該模型模擬數據之間的大量連接（join）和全表掃描應用場景，這些場景一般常用在數據挖掘和常務智能領域。
（3） VOD模型。該模型主要模擬非線性編輯應用場景，會同時讀取多個大的影音文件并寫入存儲系統中。
可以看出SPC-2涵蓋了目前大量連續I/O的所有典型測試場景，因此能夠很好地測量出存儲系統的帶寬。
SPC-1和SPC-2在SPC組織的官方網站http://www.storageperformance.org/上，可以找到有關SPC-1和SPC-2的最新數據。標準的測試結果能夠很好地幫助數據中心用戶明確各種存儲在不同應用場合下的性能表現，用戶可以根據這些標準得分判別存儲系統是否能滿足自己業務系統的性能需求。
上述的最后一句話，相信現在已經有許多人不再認同，其中原因我們在上文已經有所敘述。那么SPC-1在今天就完全沒有意義了嗎？撰寫本文的目的又是什么呢？
上圖為SPC網站上公布的SPC-1測試結果對應的存儲廠商，其中包括我們熟悉的戴爾、富士通、惠普、日立數據系統（HDS）、IBM、NetApp、甲骨文（Sun）、SGI；現在已經被HP收購的3PAR、被Oracle收購的Pillar、被NetApp收購的LSI Engenio存儲部門（以OEM業務為主）；推出SANmelody存儲虛擬化軟件的廠商DataCore、為眾多國內渠道存儲品牌OEM供貨的臺灣廠商Infortrend；還有固態存儲的先行者Texas Memory Systems（TMS）、主張精簡控制器架構的Xiotech、以及唯一參與SPC組織的國內存儲廠商華為賽門鐵克。
SPC-1成績匯總分析、引發的疑問
回顧2011年，仍然有眾多存儲廠商公布了他們新產品的SPC-1測試成績。從入門級、中端一直到高端存儲系統，乃至全閃存陣列；包括傳統雙控制器架構，也有比較熱門的Scale-out橫向擴展設計。另外，SPC-1結果中除了IOPS性能之外，還有$/SPC-1 IOPS（性價比）以及參測產品的詳細配置以及分項報價。由此我們還能計算出更多數字，比如平均每驅動器提供的IOPS、每GB容量的價格等。
當然，不同廠商、不同檔次的存儲設備在實際銷售時的list折扣也不相同，國內外執行的價格政策通常也會有所差異。因此本文中所引用和計算出的價格、性價比等數字，不代表用戶實際成交的水平，僅供對比參考。
SPC-1結果概要樣本：測試存儲型號為NetApp FAS3270A，報告總結中包括IOPS、性價比、總ASU容量、數據保護級別，以及總TSC價格（含3年維護）。
2011年公布的SPC-1測試成績匯總（按照時間先后從上到下排序），其中Huawei Symantec的兩款中端產品Oceanspace S5600T和S6800T只列出前者作為代表。
在分析以上數字之前，我們有必要對表格中的存儲系統簡單做一個分類。入門級：IBM System Storage DS3524 Express（有/無Turbo選項）、SGI InfiniteStorage 5000-SP 和 Fujitsu ETERNUS DX80 S2；中端：NetApp FAS3270A、IBM Storwize V7000、Pillar Axiom 600 Series 3、華為賽門鐵克Oceanspace S5600T，以及Oracle Sun ZFS Storage 7420c Appliance；高端：HP P10000 3PAR V800 Storage System 和 HDS Virtual Storage Platform (VSP)；全閃存：Texas Memory Systems RamSan-630、華為賽門鐵克Oceanspace Dorado2100。
對于分類的依據，相信稍微資深一點的同行都清楚，筆者也會在后面做進一步的解釋。
首先看IOPS，這也是各廠商多年來一直比拼的。3PAR在被惠普收購不到一年時推出的HP P10000 3PAR V800目前保持SPC-1測試的冠軍（450,212 IOPS），它配置了1,920個15,000轉FC驅動器；在其之前創造紀錄的是全閃存的TMS RamSan-630（400,503 IOPS），只使用了20個大容量閃存模塊（在這里也統稱為SSD），單位IOPS所占用的空間和消耗的電能確實不可同日而語。日立數據系統隨后公布的VSP測試成績沒有3PAR V800高（269,506 IOPS），它的驅動器數量也不是滿配（1,152個2.5英寸SAS硬盤），不過這兩款產品平均每驅動器提供的IOPS卻基本一致（233～234）。另外作為傳統高端存儲系統的VSP在性價比上也是相對最差的，達到了$8.18/SPC-1 IOPS，估計這個數字在滿配的情況下可能會有所下降。
問題1：如今將惠普3PAR歸類為高端SAN陣列估計不會再有人表示異議，盡管它還是不具備大型機（IBM z/OS）環境的支持，P10000 3PAR V800和HDS VSP的IOPS效率如此接近，它們在延時等其它方面的性能指標會有哪些差異？
中端存儲系統里面，Oracle Sun ZFS Storage 7420c在上表中的IOPS是最高的（137,066.20，華賽S6800T其實超過了它，只是我們此次沒有列出），其每驅動器IOPS也高達489.52。不過除了閃存產品之外，在這一項上最為領先的卻是NetApp FAS3270A（566.96），而該產品、IBM Storwize V7000、Pillar Axiom 600 Series 3的性價比卻稍現差了些，每IOPS成本都超過了7美金。這一級別產品性價比最高的還是華為賽門鐵克Oceanspace S5600T（$2.73/SPC-1 IOPS），緊隨其后的是Sun ZFS 7420c（$2.99/SPC-1 IOPS），它們的表現甚至超過了大部分入門級存儲系統。Storwize V7000和Pillar Axiom 600的每驅動器IOPS都在220～230范圍內，相比之下華賽S5600T的406.63也超過它們不少。
問題2：同樣是中端SAN陣列，NetApp FAS3270A是如何在驅動器數量較少的情況下實現較高的效率？IBM V7000和Pillar Axiom 600在這里看似亮點不多，它們“貴”在哪里？也就是說哪些方面為用戶提供了更多的附加價值？華賽S5600T和Sun ZFS 7420c是怎樣在價格極具競爭力的情況下，性能效率又在傳統磁盤陣列中領先？
本次對比的入門級存儲系統有些特點，因為除了富士通ETERNUS DX80 S2之外的三款都OEM自NetApp E2600（即原LSI Engenio 2600），這個從IBM System Storage DS3524 Express Turbo和SGI InfiniteStorage 5000-SP相差無幾的IOPS（24,500左右）、都是96個10,000轉SAS驅動器上就可以看出（每驅動器IOPS自然也十分接近）。當然二者使用的硬盤容量不同，因此SGI 5000-SP顯得性價比略高？
這里有必要專門提一下來自NetApp E2600原型系統的High Performance Tier，戴爾PowerVault MD3200/3600系列產品和SGI稱其為高性能層級，在IBM DS3500上則叫做Turbo Performance。它是一個可以在控制器Firmware層級激活的選項，需要單獨購買。根據筆者的經驗，High Performance Tier應該是允許將不同LUN選擇分配給A/B控制器（注意：不是同一個LUN在2個控制器間自動負載均衡），以實現Active/Active（雙活動）配置最大發揮性能。而默認情況下只能分配給第一個控制器，在它出現故障時才能由另一個接管上面的LUN。
那么，IBM System Storage DS3524 Express（不帶Turbo）就是沒有激活Turbo Performance進行的測試，并且驅動器數量只有一半——48個10,000轉SAS驅動器。其實根據這一點還可以從側面看出，48個高轉速SAS硬盤已經能夠比較好地發揮該產品家族（包括DS3500、MD3200/3600和SGI 5000-SP）單個控制器的IOPS處理能力，對于曾經的滿配——96個驅動器（目前增加到支持192個）就需要High Performance Tier了。由于48驅動器DS3524的SPC-1性能（14,797.26）比它“兩位師兄”的一半還要高一些，因此其性價比和每驅動器IOPS在三者中相對最好。
再來看看Fujitsu ETERNUS DX80 S2。該產品使用117個10,000轉2.5英寸SAS驅動器取得了34,995.02 IOPS的成績，平均每驅動器貢獻299.10。另外，它的$2.25/SPC-1 IOPS性價比在所有參與對比的硬盤介質存儲系統中排名第一。看來，我們以前有些忽視了富士通的實力。
問題3：對于NetApp E2600及其OEM產品的控制器設計，筆者已經相當熟悉，使用LSI SAS2116 RoC（RAID on Chip）為核心的PowerPC架構在入門級存儲系統中有一定的代表性，能夠比較好地平衡性能、成本和設計復雜度。那么富士通DX80 S2是通過什么樣的方法，來實現滿配的情況下仍然保持良好性能效率，同時還兼具成本優勢的呢？
還有一款全閃存陣列華為賽門鐵克Oceanspace Dorado2100，使用24個100GB SSD驅動器達到了100,051.99 SPC-1 IOPS（中端存儲系統的水平），應該是創造了迄今為止最優的$0.90/SPC-1 IOPS。Texas Memory Systems RamSan-630的$1.05/SPC-1 IOPS也相差不遠，性價比都超出富士通DX80 S2一倍以上，固態存儲在這方面的優勢明顯。另外RamSan-630每驅動器IOPS高達20,025，Dorado2100也有4168.8，遠超任何的傳統磁盤陣列。
最后，我們還列出了“數據保護”一欄，絕大多數產品都采用了Mirror（鏡像）的RAID級別，也就是RAID 10，只有NetApp FAS3270A配置為RAID DP（雙校驗盤，類似于RAID 6），TMS RamSan-630設計了芯片級的RAID 5保護。RAID 10的好處是理論上最好的隨機讀性能（n * 單盤IOPS，n為硬盤數）和相對較好的隨機寫性能（n/2 * 單盤IOPS），缺點是硬盤空間利用率只有50%；而RAID 5、RAID 6（DP）的寫算法通常要復雜一些，但容量利用率比RAID 10高。
除了上述這些，在SPC-1測試報告中還有更多有價值的信息。下面我們就再列出一些，按照存儲系統的定位分3（4）個大類進行對比。
容量/成本對比、固態存儲的優勢和不足
上表中就是我們在前面提到過的四款入門級存儲系統，它們都屬于雙控制器模塊化陣列，支持的驅動器數量少于200，SPC-1 IOPS性能不超過40,000。盡管上面3款NetApp E2600系產品支持的硬盤數都在去年翻倍達到192個，但其性能未必也隨之同比例提高。筆者在《戴爾MD32/36更新：120、192驅動器可選》一文中曾經介紹過：“戴爾PowerVault MD3200/3600新版Firmware的基本型號只支持到120個驅動器，要想進一步提升至192個需要購買額外的硬盤驅動器PFK。”因此，富士通ETERNUS DX80 S2支持120塊盤也是基本夠用的。“總ASU（Application Storage Unit）容量”指的是執行SPC-1 Benchmark過程中讀、寫測試的全部邏輯容量范圍，也就是性能結果對應的可用容量。“空間利用率”即總ASU（Application Storage Unit）容量在總體物理容量之中所占的比例，在RAID 10模式下這個數字比較理想的情況是接近50%，而RAID 5、RAID 6（DP）則能達到更高的利用率。
以參與測試的IBM System Storage DS3524 Express Turbo為例，全部物理存儲容量中除了ASU空間之外，還有未用存儲、用于數據保護的鏡像存儲（RAID 10）、過量分配/元數據，以及（熱）備用盤等。
配置48個硬盤驅動器（本次對比中最少，閃存系統除外）的IBM DS3524參考價格也是最低——48,310美元。我們計算出的“每GB價格”一項，SGI InfiniteStorage 5000-SP的13.5美金遠超過另外三款產品，一方面它使用了小容量的146GB驅動器，而在此基礎上的價格已經與相同數量/類型300GB硬盤的IBM DS3524相差不多。可見在這里的“同質化”競爭中，SGI 5000-SP沒有價格優勢。
我們還發現一個問題，配置117個300GB驅動器的Fujitsu DX80 S2，其ASU容量為什么低于96個相同容量驅動器的IBM DS3524呢？原因只有一個——并沒有將全部容量用于測試，實現類似短擊硬盤的效果（靠近盤片內圈的部分磁道不用，以此人為？提高單個驅動器的IOPS）。還記得上文中我們提出的問題3嗎，SPC-1測試也是“有空子可鉆”的？
當然這樣做也有負面效果，那就是提高了每GB價格（空間利用率只有27.79%）——盡管ETERNUS DX80 S2的總價格低于DS3524 Express Turbo，但每GB價格卻超過后者。其實這也為傳統磁盤存儲系統的用戶提供了一種參考，究竟是要容量，還是要IOPS呢？
上面5款中端存儲系統支持的驅動器數量在200～1000之間，SPC-1 IOPS測試成績位于50,000～150,000的范圍內，除了Pillar Axiom 600 Series 3被認為是Scale-out橫向擴展設計之外，其余仍然屬于雙控制器模塊化陣列。在這里NetApp FAS3270A的960個硬盤數處于領先；IBM Storwize V7000目前只支持240個驅動器并不是技術問題，要知道IBM的高端存儲系統DS8800已經支持1,536塊盤，Storwize V7000是IBM在中端市場上第一款完全采用自主技術的產品（之前依靠與LSI Engenio合作的DS4000/5000系列），它還會在不久的將來隨著硬件配置升級而增加更多功能。
這一檔次的設備，每GB價格大多集中在15～25美金的范圍，華為賽門鐵克Oceanspace S5600T的性價比突出，每GB 7.8美元使它能夠與入門級存儲系統相媲美。NetApp FAS3270A高容量利用率的RAID DP，并沒有阻止其每GB價格高達23.5美金，它是否以某些方面成本為代價來提高性能效率？這個我們將在后文中再做分析。
這里四款采用RAID 10配置的陣列，平均空間利用率沒有入門級存儲系統高。前面我們認為性價比出色的2個產品中，華賽S5600T還是比較厚道（45.38%），而Oracle Sun ZFS Storage 7420c Appliance的容量利用率只有28.22%，不排除以此來增加每驅動器IOPS的嫌疑。
我們將高端存儲系統和全閃存陣列放在一個表格中，盡管二者支持的驅動器數量相差天壤之別，但它們都是在通過各自的方式（前者是盤數、后者使用閃存介質）來滿足不斷增長的數據中心應用服務器對存儲IOPS的極致需求。惠普3PAR的控制器單元通過背板以Scale-out的方式擴展；日立數據系統VSP則顯得保守一些，他們提出了3D擴展——即Scale-up + Scale-out + Scale-deep（繼承原來USP V/VM的存儲虛擬化功能）的概念。
HP P10000 3PAR V800 和 HDS VSP支持的驅動器數量都在2,000個左右，與EMC Symmetrix VMAX的2,400個處于同一水平，它們的SPC-1 實測IOPS也都超過了200,000。3PAR V800由于滿配300GB 15,000轉光纖通道驅動器，因此總ASU容量和總價格在本次對比中最高，然而其12.9美金的每GB價格卻低于除華賽S5600T之外的四款中端存儲系統，可見3PAR一直以來宣傳的高性價比并不是空話。相比之下VSP卻由于空間利用率低等原因，每GB價格（44.6美金）已經接近Texas Memory Systems RamSan-630固態存儲系統（51.7美金）。Scale-out架構看似完勝，那么傳統的大型框架式（Monolithic Frame-Based）高端磁盤陣列在今天就沒有優勢了嗎？
TMS RamSan-630可以說是本次對比的一個亮點，在傳統中端存儲系統的價格水平上提供了高端陣列的性能，另外華為賽門鐵克Oceanspace Dorado2100也是以傳統入門級存儲系統的價格提供了中端陣列的性能。可能是由于驅動器RAID 10和芯片級RAID 5的空間利用率、以及架構設計方面的不同，華賽Dorado2100每GB價格還比較高，并且ASU容量在這些系統中最低（可以換用大容量驅動器來提高）。當然全閃存陣列目前還無法與傳統磁盤陣列拼容量，它們暫時只適合存儲“少量”需要高IOPS的數據。
總結與展望
筆者認為，企業級固態存儲市場距離成熟還有比較長的一段路要走，相關產品或多或少地還存在一些不足、有待完善的地方，比如在本文開頭提到的可擴展性、高可用性等方面的能力。至本文截稿之時，我們得知EMC Project Lighting（閃電計劃）將于2月初發布，簡單說這是一款將PCIe SSD安裝在服務器上作為共享存儲系統緩存加速的產品，當然還包括FAST緩存（分層）等高級軟件功能。正如EMC在上一次利用FAST（全自動存儲分層）功能帶動SSD驅動器的出貨那樣，Lighting的發布也將引發PCIe閃存卡在企業存儲領域的另一個拐點？
回到SPC-1這個話題上，盡管對它的爭議不會就此停止，但我們覺得上述分析、評論還是能夠給人以收獲，比如說空間利用率與每驅動器IOPS、每GB價格之間的微妙關系等。文中陸續提出的一些問題，有的找到了答案而還有些尚未了結，這就是我們要留到下一篇討論的內容。在涉及的產品里面，筆者曾經分析過NetApp E2600系（對應IBM DS3524和SGI 5000-SP）、IBM Storwize V7000和3PAR V800的架構設計，那么下一步應該進行更全面的比較。SPC-1報告中還有響應時間曲線、結構示意圖、詳細的配置信息和分項成本等待我們去挖掘，當然不僅限于SPC-1...
京公網安備 11010502049343號