現有數據中心通常存在相對獨立的3張網:數據網(Data)、存儲網(SAN)和高性能計算網(HPC)。數據網采用以太網聯網,存儲網采用光纖通道用于存儲,高性能計算網大多采用Infiniband。
● 數據中心的前端訪問接口通常采用以太網互聯,構成一張高速運轉的數據網絡;
● 數據中心后端的存儲更多采用NAS、FC SAN等;
● 服務器的并行計算則大多采用Infiniband和以太網。
越來越多的公司希望通過單獨產品支持以上3個技術,將數據中心融合為一個網絡。
傳統服務器、網絡和存儲設備的端口類型
以太網端口
數據中心的前端訪問接口通常采用以太網互聯,構成一張高速運轉的數據網絡。
傳統統數據中心以太網的典型架構采用樹狀結構,按三層交換機制排列,從核心開始成扇形展開。這種設計來源于局域網架構,大概在10多年前開始被數據中心所采用。
服務器以千兆服務器為主,從服務器到TOR(架頂交換機)的網絡端口大多為千兆電口,也有部分是千兆光口。
FC光纖通道
FC,Fibre Channel,光纖通道技術,最早應用于SAN(存儲局域網絡)。FC接口是光纖對接的一種接口標準。
FC具有高帶寬,低延時的特點,經過多年的發展,是大型存儲的首選技術。FC是端到端的光纖通道,所以其QoS保障出色,轉發過程中無丟包,FC的BER為-12級別,非常高。現在已經有了接口可達16Gbps的FC存儲設備。FC目前在穩定性、安全、性能上都是存儲網絡最好的選擇。預計在未來6、7年內,FC仍然是高端存儲客戶的首選技術。
FC標準中對N-port和F-port之間進行標準規范,但是不同廠家之間的FCF設備(導向器設備)不能對接。FC存儲和交換技術被少量廠家壟斷,特別是交換技術,目前被思科和Brocade壟斷,不利于后續的持續發展。FC不能滿足未來IDC網絡融合的趨勢,而FC本身又不能實現融合承載,思科和Brocade都在推FCoE技術,所以后續FC被取代是必然的。
iSCSI接口
嚴格地說,iSCSI是基于以太網的接口,物理層也是以太網。在這里討論主要是因為iSCSI是IP化的存儲接口,有別于存儲設備的FC接口。
現網的存儲網絡主要部署的是FC和iSCSI。FC主要應用在性能和穩定性要求高的網絡,iSCSI主要應用在對價格敏感的小型存儲網絡,其安全性不如FC。
目前業界已經有了部分10Gbps的iSCSI解決方案。
iSCSI本身就承載在以太網上,具備融合特性。
Infiniband
Infiniband技術目前主要應用在高性能計算機的互聯。帶寬大、延遲低是其優勢。
Infiniband架構是一種支持多并發鏈接的“轉換線纜”技術,在這種技術中,每種鏈接都可以達到2.5Gbps的運行速度。有效數據傳輸速率可達上百G。Infiniband提供低CPU占用下的RDMA特性(遠程直接內存訪問),RDMA操作延遲低于1微秒。
Infiniband協議雖然出現得比較早,但由于廠商的支持問題,應用范圍并不太廣泛。
服務器、網絡和存儲設備的端口類型演進
隨著處理器技術的飛速發展和業務的無限豐富,千兆端口不再能夠滿足服務器對接口的需求。隨著數據中心網絡建設的融合趨勢,局域網、存儲網絡和高性能計算網絡正逐步統一到以太網接口上,這也大大增加了服務器對10G、40G以太網接口的需求。一旦10G、40G接口成為服務器的普及端口,在數據中心內部40G、100G的互聯交換機接口就變得十分必要和緊迫了。不僅如此,超大型的數據中心往往有很大的地域跨度,這些數據中心的互聯以及同Internet的接入都需要更高速率的鏈路。
市場預測,2016年10G服務器會成為主流(見圖1)。
10G以太網
10G以太網(IEEE 802.3ae)在2002年完成了標準化的最初階段。
在數據中心內部,我們主要討論基于光纖的局域網萬兆端口和基于雙絞線(或銅線)的局域網萬兆端口。
基于光纖的局域網萬兆端口,光纖本身價格可以忽略,但是萬兆光模塊的價格目前還比較昂貴,另外萬兆服務器目前應用比例還比較低,因此服務器到TOR的萬兆光需求處于起步階段,目前少量數據中心在試點和部署。
數據中心機架內部,從服務器到TOR的距離比較短,幾米足夠。機架內部互聯,另外一種便宜的解決方案就是采用支持10Gbps傳輸速率的SFP+高速銅纜(Direct Attach Cable直連銅纜),實際就是把“光模塊+光纖”的線纜換成了“銅接口+銅纜”的線纜。比較常用的無源銅纜長度有1m、3m、5m,7m以上的一般是有源的。
目前比較被看好的萬兆銅纜方案是10GBase-T,相關技術已經成熟。10GBASE-T標準的目標是建立一個支持100米傳輸、4連接信道的模型。這個目標決定了我們需要一個增強六類布線標準。七類布線是一個現有的、可行的、定型的布線系統,但七類布線在全球市場上的發展緩慢(目前估計不到全球已安裝系統的1%)。數據中心幾種主流的萬兆銅纜方案中,10GBASE-T的成本最低,后續隨著服務器主板直接集成萬兆電口,10GBASE-T更具成本優勢。
40G/100G以太網
IEEE 802.3ba(40G和100G以太網)從工作組在2008年初正式成立,到2010年6月標準的正式獲批和發布,經歷了兩年半的時間。
40G的光模塊主要是CFP和QSFP,QSFP體積小,使用更廣泛。CFP和QSFP都支持100m/2km/10km的距離傳輸。40G一般可支持拆分成4個10G口。
目前主流的100G光模塊有CFP、CFP2和CXP三種。
CFP支持100m/10km傳輸,光模塊尺寸和功耗都很大,是中長距離傳輸的主流模塊;CFP2支持100m/10km傳輸,與目前傳統的CFP模塊相比,功率更低,尺寸更小;CXP支持100m傳輸,用于短距傳輸。
后續新型100G光模塊主要是CFP4和QSFP28。CFP4的光模塊已經有個別廠家發布了;QSFP28體積更小,預計在數據中心會成為主流。
25G以太網
服務器和數據中心機架頂式網絡設備之間用25G以太網進行單線互聯。
2014年7月1日,包括谷歌、微軟、Mellanox、Arista網絡和Broadcom在內的成員單位成立了25G以太網聯盟,希望發展可優化成本的帶寬擴容25G/50G以太網。
2014年,思科向IEEE全會提交25G以太網,支持者有87人、來自48個公司。未來大型數據中心將從4×10G的40G以太網接口到4×25G的100G以太網接口,服務器提供單通道25G接口將更高效。2014年7月16日IEEE投票,成立“用于服務器互聯的單通道25G以太網”研究組。IEEE已經正式成立專項研究小組,旨在推動25Gbps以太網標準的創建工作。
根據Dell'Oro Group預測,到2018年25G以太網將是10G以太網之后,最流行的網絡端口。與現行的10G和40G以太網鏈路相比,單通道25G和雙通道50G協議,預計會將機架頂式交換機的性能提升2.5倍。
FC光纖通道
光纖通道行業協會(Fibre Channel Industry Association)已經確定了第6代光纖通道(Gen 6)標準,該標準預計將在2016年正式實施。
作為下一代光纖通道技術和全球最快的存儲網絡協議,Gen 6技術可提供32GB(32G FC)的基礎速度,這一速度是滿足不斷演變的服務器工作負載需求和I/O聚合的關鍵。目前16Gbps的光纖通道技術每秒吞吐量為3200MB,而在全雙工模式下,新標準的Gen 6基礎通道將提供每秒6400MB吞吐量。此外,新一代技術還提供了一個選項,可以翻兩番32Gbps到128Gbps,從而實現全雙工速率25600Mbps,同時實現基于光纖通道技術的無縫銜接并且向下兼容。
據悉,光纖通道領域的相關廠商均已有所動作。博科表示將在2016年出貨Gen 6新品,Qlogic也承諾持續為Gen 6光纖通道標準的創新和研發提供支持,并在2015年出貨32G FC套件。
預計在未來6、7年內,FC仍然是高端存儲客戶的首選技術。
FC演進到FCoE
FCoE是由Brocade、IBM、HP、EMC、NetApp、Cisco等廠商所共同支持與貢獻的T11標準委員會制定的協議,目的是直接在增強型無損以太網基礎設施上傳輸光纖信道信號。
FCoE技術通過以太網封裝光纖通道幀,可以把數據中心的數據傳輸和FC光存儲網絡融合,從而實現數據中心的網絡融合。FCoE可以實現IDC網絡下的存儲和交換網的融合,減少服務器接口的數量,方便布線和管理。另外因為設備連接的物理設備少了,也可以簡化服務器的虛擬機遷移。
FCoE滿足IDC網絡融合,又能夠兼容現有的FC網絡,符合技術前后兼容的發展要求。FCoE需要DCB(Data Center Bridge)支持,只有滿足DCB要求的以太網上才可以部署FCoE。FCoE同樣存在安全的問題,需要MACSEC來確保網絡安全。另外還存在生成樹的問題,需要TRILL技術來解決。
Dell'Oro的高級分析師Casey Quillin認為,FCoE將作為FC技術的一個潛在的替代方案,但不是一個必須的替代方案。
“以太網就像一個壓路機,它將所有競爭者都壓在腳下。現在它唯一還沒有打敗的就是光纖通道,但隨著時間的推移,它將最終吞沒光纖通道。”Gartner公司分析師Skorupa說,“但是讓大部分數據中心將存儲連接到以太網會需要5年以上的時間。目前有超過500億美元已安裝的光纖通道資產。”
預計FCoE大規模應用是在6、7年之后。
數據中心內部網絡端口演進,近期以服務器網絡端口演進為主,以及前端網絡和后端網絡的融合。高性能計算機互聯還是傳統的Infiniband接口,高端存儲仍然是FC的天下,短期內沒有實質性的改變。