在IT技術快速發展的今天，虛擬化技術日趨成熟，由于其在資金節省和IT效率提高上的優勢日益明顯，越來越多的企業也開始部署虛擬化平臺。在企業環境中部署虛擬化平臺的存儲系統時，在考慮到性能的同時，還要充分考慮負載均衡和高可用性，這是確保整個虛擬化基礎平臺能夠提供高質量可靠服務的基礎。本文主要以VMware vSphere環境下的IBM DS5100為例來介紹如何進行存儲設備的HA構架和配置，文章主要包括如下幾個主要內容

IBM DS5100的基本內部結構介紹

高可靠性SAN構架設計

光纖交換機Zone的設計和配置(基于IBM Storage Area Network Web Tool)

存儲系統Array、LUN的設計和配置(基于IBM System Storage DS Storage Manager)

示例環境介紹

在概述部分已經提到，本文主要以VMware vSphere 4.1環境下的DS5100為例來介紹存儲的HA架構和配置，下面圖1則是的筆者要介紹的虛擬化架構環境SAN組網示意圖。

▲圖1 SAN網絡示意圖

在圖1中，在整個架構中包括三種類型的設備，Host Server， SAN Switch和Storage System。Server Group中的Host Server是用于部署vSphere4.1的應用服務器，用于運行所有的虛擬機，每一個Server Group在VMware環境中會配置為一個Cluster，每個Cluster中的所有機器會共享一定的存儲空間。上圖中的Storage System為這些應用服務器提供虛擬化需要用的存儲空間, SAN Switch則是實現了Host Server和Storage System的連接。為了實現SAN網絡上的高可用性，所有的Server和Storage System同時連接兩臺SAN Switch。在上述的虛擬化環境下， 每個Server Group只連接一個Storage System，Server Group 1/2/3分享Storage System1上面的存儲空間，Server Group 4/5/6分享Storage System2上面的存儲空間。在后面的組網、架構設計和配置時，會依據這個組網結構為基礎進行說明。

IBM DS5100的基本內部結構

IBM System Storage DS5000系列磁盤存儲系統是IBM的中端高性能磁盤存儲系統，集成度非常高，從架構上能夠支持線性的可擴張性，同時也能夠非常容易的根據用戶需求來進行負載均衡的定制，來實現高IOPS和MBPs的要求，能夠在支持大容量的同時保證優異的性能，非常適合于虛擬化和整合。

為了有效的提升存儲的I/O性能并做到高可靠性，就需要設計一套符合該存儲特點的組網模式，因此，我們需要先大概了解一下DS5100的基本內部結構，在此基礎上，便可以設計出能夠充分發揮其優勢的架構連接模式。如圖2所示，DS5100主柜有兩個相同的Controller模塊，每個Controller模塊有8個磁盤通道端口(紅框部分，連接存儲擴展柜)，共分為4組，每一組的2個端口是通過一個回路開關(loop Switch)來控制的。每個Controller模塊還有8個主機連接端口(籃框部分，連接主機或者SAN Switch)，這8個主機連接端口由2個主機接口卡提供，每個卡上有4個端口，所有這些端口可以根據需要定制為4GB FC接口或者8GB FC接口。

▲圖2 DS5100主機后面板接口示意圖

DS5100的兩個Controller模塊之間通過內部連接模塊連接，能夠實現快速有效的控制交互和數據傳輸。每個Controller模塊內部有一個專有ZIP ASIC芯片，該芯片被設計于專門支持I/O操作，來計算RAID的冗余信息，通過這個芯片來實現基于硬件的奇偶校驗計算，這樣會比通過軟件計算快很多，這能夠有效的保證整個系統的性能。

圖3是DS5100的內部機構示意圖，從圖中可以看到，每個DS5100 Controller內部的磁盤通道端口模塊和主機連接端口模塊以Zip Processor模塊為樞紐實現了內部連接，在DS5100內部這些通信是通過PCI Express總線來實現的。每個Controller模塊的兩個主機接口卡提供了8個主機接口，兩個4口的4GB FC芯片組來連接磁盤通道接口， 其中一個4口4GB FC芯片組通過回路開關(loop Switch)連接本Controller模塊上面的8個磁盤通道接口，另一個4口的4GB FC芯片組連接另外一個Controller模塊上面的8個磁盤通道接口。

同理，另外一個Controller模塊上的兩個4口4GB FC芯片組也通過回路開關分別連接兩個Controller模塊上的16個磁盤通道端口。這樣，就可以實現每個Controller都可以隨時訪問16個磁盤通道端口，每個主機接口通道的數據，都可以通過主機接口卡、Zip Processor模塊、4口的4GB FC模塊和回路開關來連接所有的磁盤通道接口。DS5100內部的處理芯片會根據各個通道接口的負載、擴展柜的連接情況、LUN的劃分情況和數據讀寫目的來判斷如何進行分流和回路開關的控制，最大程度上實現負載的均衡。

▲圖3 DS5100主機內部結構示意圖

提示：試試“← →”可以實現快速翻頁

高可靠性的SAN架構設計：主機與擴展柜鏈接

1.存儲系統主機和擴展柜的連接

通過上一節DS5100的內部結構介紹可以了解到，DS5100有2個Controller，多個內部模塊和端口，要實現高可靠性的架構，就必須要充分考慮冗余和負責均衡，即應該把主機通信和存儲擴展柜的連接盡量的分布到所有的模塊，芯片組和端口。

在連接磁盤存儲擴展柜時，考慮到冗余和負載均衡，每個擴展柜都要同時連接Controller A和Controller B。同時考慮相鄰的磁盤通道端口是通過一個回路開關控制，因此，建議使用如圖4所示的配對方式。這樣，在只有4個存儲擴展柜的時候，可以采用圖5所示的連接方式，可以完全使用所有的內部模塊和回路開關模塊。當存儲擴展柜有8個時候，采用圖6所示的連接方式，這樣會使用了全部的磁盤通道端口。當擴展柜的數量大于8個時候，就需要兩個或多個擴展柜先串聯，然后再按照圖6的方式連接到主柜。

▲圖4 DS5100存儲柜連接配對圖

▲圖5 四個擴展柜時連接示意圖

▲圖6 八個擴展柜時連接示意圖

提示：試試“← →”可以實現快速翻頁

高可靠性的SAN架構設計：存儲與SAN Switch連接　　

2.存儲主機系統和SAN Switch的連接

在圖1所示的組網示意圖中提到，該環境里面是有兩套存儲系統和兩個SAN Switch，每個存儲系統將會支持3個Server Group.為了實現高可用性和負載均衡，兩個DS5100主機需要同時連接兩個SAN Switch。考慮到在可能的SAN Switch損壞或者某個Controller損壞的情況下還能夠實現一定的負載均衡，建議采用如圖7所示的連接方式，每個Controller的兩個主機接口模塊分別連接不同的SAN Switch，即兩個Controller的1~4號主機連接端口連接到SAN Switch1， 5~8號主機連接端口連接到SAN Switch2。在這種情況，若任何一個SAN Switch損壞，DS5100的Controller A和Controller B還是能夠有效的進行負載均衡;若DS5100的任何一個Controller損壞，兩個SAN Switch也能夠進行負載均衡。極端情況下，任何一個SAN Switch和一個Controller同時損壞的情況下，還是能夠實現Host Server到DS5100存儲系統的路徑可達。

為了便于理解，在圖7僅僅列出一個DS5100和2臺Host Server跟SAN Switch的連接方式， 第二個DS5100和其他所有的Host Server也采用類似的方式同時連接。

SAN Switch的選擇：在保證系統接口速度滿足的基礎上，要保證有足夠的端口數，連接兩個DS5100總共需要16個端口，連接Host Server時，每個Host Server只需要一個端口。

▲圖7 SAN Switch組網示意圖(1個DS5100和部分host Server)

3.Host Server和SAN Switch的連接

同存儲主機系統類似，為了保證Host Server的高可用性，每個Host Server都配置了兩個HBA光纖適配卡，兩個HBA卡分別連接SAN Swith1和SAN Switch2.如圖7所示。為了便于在SAN Switch上的配置，也為了便于后期的維護和糾錯，建議每個Host Server的兩個HBA接口連接到兩個SAN Switch的相同編號的接口上。

光纖交換機Zone的設計

把DS5100和Host Server都連接SAN Switch后，整個SAN網絡的物理連接部分基本完成。要實現所有的Host Server能夠方便的連接到所需要的存儲空間，同時要保證高可靠性和負載均衡，在光纖交換機和存儲內部的配置也非常關鍵，本節先介紹光纖交換機想過的設計和配置。

1.光纖交換機Zone的設計

在SAN網絡中，Zone是一個非常重要的概念，非常好的設計和配置Zone，能夠消除許多潛在的常見問題，同時還能夠保證充分發揮系統的性能。FC SWITCH上的Zone功能類似于以太網交換機上的VLAN功能，它是將連接在SAN網絡中的設備(主機和存儲)，邏輯上劃到為不同的區域內，使得不同區域中的設備相互間不能通過網絡直接訪問，從而實現網絡中的設備之間的相互隔離。由于本文描述的場景是用于虛擬化的場景之下，有效的配置Zone還能夠在保障性能的同時減低Host Server上面Multipath的數量，優化Host Server上vSphere的尋址管理能力。

在這里，我們推薦一個創建Zone的最佳實踐，那就是為每一個主機到存儲的連接單獨創建一個Zone，在圖7中可以看到，每個DS5100存儲的Controller A和Controller B分別有4個FC主機接口連接到SAN Switch上，因此，在創建Zone的時候，在SAN Switch上面，我們應該為每個Host創建至少2個Zone，分別連接到相應存儲的Con