像閃存,NVMe,以及英特爾公司Optane這樣的存儲級內存正大幅提升存儲容量,非常適合推動存儲需求最大化的工作負載,如容器,大數據,機器學習,以及超融合基礎設施,所有這些技術與應用都使用文件和對象存儲,而不是SAN的塊存儲。但是除了高速存儲之外,這些工作負載還需要低延遲網絡,線程不會阻塞的CPU,尤其是使用軟件定義網絡的超融合系統。
以太網是一個眾所周知的協議,安裝以太網的網絡并沒有光纖通道那樣的復雜性和脆弱性,而在這種情況下,必須考慮到安裝時彎曲電纜的角度,以及限制電纜的長度,其網絡傳輸速度不限于10Gb/s,還可以移動到25Gb/s,40Gb/s或100GB/s。
但是TCP(傳輸控制協議)有很多開銷,這意味著CPU花費了大量的時間來管理網絡傳輸,用于寫入密集型工作負載(如數據庫),從而降低了這些工作負載的整體性能。這就是RDMA(遠程直接內存訪問)發揮重要作用的地方。
Windows Server的首席項目經理Jeff Woolsey最近在微軟的Ignite技術大會上指出,“當你對系統進行大量寫操作時,超融合系統的性能將會下降。如果你有一個單一的節點正在進行70%的寫入,并且必須盡可能快地復制到另一個節點,如果你沒有采用RDMA,CPU必須介入執行操作,而在10Gb的以太網網絡接口卡(NIC)上寫入很容易完全占用一兩個CPU的資源。”
RDMA的直接連接可以減少對CPU的影響,并且像NVMe或SCM這樣的快速存儲可以使得網絡延遲從毫秒降低到微秒。
“在存儲網絡開始采用RDMA(特別是面向NVMe的架構,因為這似乎是將成為這個領域的標準),是為了滿足日益嚴格的大數據分析存儲性能的要求,特別是那些實時工作負載,更大的數據庫和更密集的工作負載整合。”IDC企業存儲研究總監Eric Burgener說。
他補充道,雖然NVMe協議目前還不成熟,但是他預測說:“在未來三到四年內,外部存儲平臺將在協議棧NVMe方向發展,陣列背板,控制器和結構。”
今年早些時候,英特爾公司將RDMA技術直接應用在至強服務器的主板上。DataON公司正在使用新型Lightning Trac System Windows Server2016超融合系統,這些系統包括Optane固態硬盤,用于快速緩存層的NVMe,以及SMB3RDMA結構。
現在,HPE公司在其新的Store FabricM系列存儲優化交換機中使用了Mellanox基于RDMA的以太網存儲結構,為客戶提供了用于光纖通道的存儲管理工具。
同樣在今年召開的Ignite大會上,一家名為Chelsio的公司展示了運行速度為25Gbps使用RDMA網卡的SMB3的Windows Server 2016存儲副本,而光纖環路超過了50公里(不需要用于這種城域連接的擴展設備)。
在Windows10中甚至支持RMDA。好萊塢后期制作公司使用NVMe將大多數Mac工作站和六位數光纖通道SAN與Windows PC和Windows Server存儲空間直接進行替換,以便他們可以使用RDMA快速訪問4K文件以進行視頻編輯和VR的創建。
Storage Mojo公司的分析師Robin Harris表示,為了獲得高效的存儲系統,企業必須做出權衡。“采用光纖通道是有意義的,因為存儲陣列非常昂貴,共享它們需要投資支付。
如今,企業可以擁有獨立的PCIe卡,與大多數存儲陣列一樣快,并提供了更大的帶寬,而其成本只有存儲陣列成本的一小部分。因此,在這種情況下,人們關注的重點已經從如何共享昂貴的資源轉移到如何共享廉價資源。
“鑒于成本在這種情況下的首要地位,經濟學家傾向于采用成本最低的網絡。以太網就是那個低成本的網絡嗎?是的。一旦這個協議和技術廣泛使用,我預計大多數新建的存儲網絡將將基于以太網,RDMA是提供共享基于服務器存儲的一種經濟和低延遲解決方案的關鍵因素。
Harris表示,HPE公司的交換機采用RDMA的事實證明了該技術的可行性。他說,“從市場的角度來看,更大的問題是其他廠商是否會效仿HPE公司的做法。”
擴展光纖通道
盡管下一代架構并不是在光纖通道的基礎上發展起來的,但這并不意味著它正在消失。Harris說,“我相信光纖通道的鼎盛時期已經過去了。但是,至少在未來十年內,將有一個龐大的安裝基礎將繼續推動光纖通道市場發展。”
Burgener對此表示認同:“以太網在存儲領域的應用顯然正在興起,但根據我們對市場的收入預測,2017年光纖通道市場規模更為顯著(以太網為9.6億美元,光纖通道為117億美元)。NVMe可以通過光纖或以太網運行,我認為以太網將繼續慢慢占據光纖市場的收入,但是我們的預測2021年以太網和光纖通道的收入分別為9.8億美元和115億美元。
Burgener說,“企業數據中心往往更多地投資于光纖通道,并繼續購買,這樣他們就可以繼續利用現有的光纖通道網絡和管理專長。隨著以太網的發展,越來越多的企業開始使用這種方法。”
“很少有客戶會從以太網轉向光纖通道,但人們會看到基于以太網的存儲網絡出現在已經在光纖通道上投入大量資金用于新項目或部門項目的企業中。
對于網絡成本可能過高的小型系統來說(例如,對于分支機構中的節點或其他任何希望用于邊緣計算的數TB存儲),Thunderbolt證明是RDMA的一個替代方案。英特爾Thunderbolt 3 USB-C適配器現已通過Windows Server 2016認證,DataON公司推出雙節點超融合存儲系統,為用戶提供40Gbps和200K IOPS,CPU占用率僅為20%,雖然不如RDMA好,但比以太網提高更多的CPU效率,其10TB的存儲成本只有9000美元。