企業架構高級經理Brenden Bryan稱,在政府雇員健康協會(GEHA)徹底調整數據中心并部署Fabric網絡架構基礎設施后,程序變得“真的是相當簡單”,再也不像許多其它的IT項目那樣復雜了。“在回顧整個過程并且說‘我希望做出不同的決定’時,我們沒有遇到任何問題或麻煩。”
位于密蘇里州堪薩斯城的GEHA作為全美第二大的健康計劃與牙齒健康計劃正在處理著100多萬名聯邦政府雇員、退休職員和他們的家庭成員的醫療費用報銷工作。Bryan稱,轉向Fabric網絡架構的主要原因是簡化、鞏固和移除遺留的光纖通道SAN環境。
Bryan在2010年8月份開始為GEHA工作。他稱,當時他接手的是一個相當典型的基礎設施:由眾多廠商生產并且帶有許多故障的部件拼湊而成。該協會還希望虛擬化其大型機環境,讓其變成一個分布式架構。Bryan 稱:“我需要的是一個擁有冗余性和高可獲得性的基礎設施。”一旦新的基礎設施就位并穩定運行,下一步計劃就是將所有的GEHA Tier 2和Tier 3應用轉移到這上面,最終將Tier 1報銷處理系統也轉移到這上面。
GEHA部署了由博科生產的以太網交換機和路由器。目前距這個為期六個月的項目結束日期已經過了一年多時間。他稱,它們提供了一個高速環境和一個20比1的虛擬機與刀片服務器硬件的比例。
Bryan 稱:“我能夠保持最低限度的物理服務器數量,盡可有的利用它們。它們讓我能夠提高存儲效率和計算效率。”
部署數據中心網絡架構需要一些規劃。ZK Research 的首席分析師Zeus Kerravala稱,這意味著必須要用新的交換機設備升級和替代老式的交換機,因為在光纖通道網絡中使用了不同的流量配置。“你必須要重新搭建你的網絡,以及重新連接服務器。”
實現扁平化
數據中心網絡架構是一個針對橫向信息流優化過網絡,相對于傳統網絡來說,其更為扁平,更為簡單。Kerravala解釋稱,其更多的是針對客戶端/服務器設置進行設計的,為的是實現服務器與網絡核心實現信息往來。
Fabric網絡模式中,流量在網絡和虛擬機之間橫向流通。“因此其更多的是一種服務器對服務器的連接。”fabric網絡更為扁平,并且不超過兩層。相比之下,遺留的網絡至少擁有三層或甚至更多的層。Kerravala稱,這些年來,存儲網絡也采用了這種設計方式,如今數據網絡也需要采用這種設計方式。
推動向fabric網絡轉型的一個因素是,在財富2000排行榜上的公司,有半數的企業數據中心工作負載被進行了虛擬化。當實現了數據中心負載實現了虛擬化后,他們開始關注如何讓他們的服務器與其它的服務器以及網絡進行通信。
企業存儲集團高級分析師Bob Laliberte 稱:“我們將這視為數據中心網絡架構方面的發展。推動因素是越來越多的服務器對服務器連接。這些不同的服務器需要彼此對話,與網絡核心進行通信。這些都增加了處理負載和延時。”
虛擬化增加了復雜性,因為這意味著動態移動許多東西,“因此網絡廠商正在努力簡化這些復雜環境。”
當數據中心無法擴展
隨著房屋止贖事件在2006年達到頂峰,Walz集團發現他們的數據中心無法擴展以有效應對額外的服務增長需求。該公司負責為多個行業提供文檔管理、履約和合規服務。公司的首席信息安全官Bart Falzarano稱:“這妨礙了業務的增長。”
Falzarano稱,公司招聘了額外的IT員工以應對這些不同的系統和管理措施,建立新的服務器,擴展網絡,增加災難恢復服務。“但是管理這些技術問題非常困難,尤其是隨著我們開始嘗試向虛擬環境轉移。”他稱。公司還有許多無法被虛擬化的應用,這些必須要被分別管理。“這些系統、存儲和網絡都有著不同的切入點。我們已經變得無法實現預期的目標了。”
為了減少復雜性,Walz集團在2009年部署了思科的統一數據中心平臺,這是一個統一的數據中心Fabric架構,其將計算、存儲、網絡和管理綜合到了一個平臺中,以實現IT自動化,讓其成為一個跨越物理和虛擬環境的服務。目前這一平臺在公司中已經與NetApp SAN Storage Flexpod平臺連接在了一起。
Falzarano回憶稱,此前他們使用的是惠普的技術,當數據庫的一個節點出現故障,就需要給廠商打電話,最終需要取出四個CPU中的三個,并且需要花上四個小時才能排除故障。直到恢復正常運行,14個小時已經過去了。
“現在,對于同樣的故障,如果我們發現了出問題的刀片服務器節點,我們在4分鐘內就可以斷開這一SQL應用并重新連接SQL應用。在虛擬管理層也可以這樣做。”他稱。
IT一直在追蹤數據中心性能,記錄一些關鍵的指標。Falzarano稱,他們發現密集度變成了8比1,這意味著更少的纜線復雜度和更低的纜線需求量。老技術的虛擬化效率為4比1,新技術具有更高的效率,達到了15比1。團隊能夠虛擬化以前他們所無法虛擬化的應用。
其它的優勢還包括機架減少了50%,系統管理更為集中化——目前一個IT工程師可以管理50個系統。。
“在使用老技術時,我們遇到了大量的硬件故障問題。在我們的多數據中心中,每隔30天就會出現一個故障。現在一年都可能不會出現一個故障。”他稱。
容易部署
與Walz集團的IT執行官一樣,GEHA 的IT團隊領導人認為部署fabric網絡模式不僅能夠滿足業務需求,還降低了復雜性、成本和管理數據中心所需要的人員數量。Bryan稱協會還獲得了規模效益,兩個人即可管理所有的以太網環境,這與以往需要熟悉fabric的額外人員截然不同。
“在我們的團隊中,沒有任何一個人是光纖通道的專家。讓報銷程序系統具有冗余性與高可獲得性的唯一辦法是依靠以太網fabric網絡架構技術。我們的員工熟悉這種技術。”他稱。
Bryan稱,自從無需購買任何光纖通道交換機,協會能夠省下了近50多萬美元的資金預算,由于不需要人員管理光纖通道,協會運營開銷減少了約25萬美元。“自從改用fabric網絡架構,我們能夠取消成堆的設備。” Bryan稱。
GEHA使用了一個本地托管服務提供商以幫助安裝架構中一些更為復雜的部分。“但是從我們打開設備包裝箱到整個環境運行起來,只需要兩天的時間。過程非常簡單。” Bryan稱。
他補充道,新架構的性能讓人感到十分震驚。他們做了一個測試,通過網絡將一個4G的ISO文件從一個刀片服務器拷貝到另一個刀片服務器上。在網絡和存儲都通過相同的光纖通道網絡架構的情況下,耗時低于1秒鐘。他稱:“我們沒有看到遷移,我不認為它們被真正拷貝了。”
IT正在使用這一架構通過CommVault的軟件備份他們的環境。Bryan,協會正在關注網絡吞吐量能在1小時內達到1太字節這一性能。“與以前的架構相比,吞吐量提升了8至10倍。”
今天,GEHA所有的產品流量正在fabric網絡架構上。Bryan稱,他對這一基礎設施已經非常滿意了。他稱,基礎設施的擴展已經不再是一個問題,通過聚合架構與速度,已經成為了一大重要優勢。GEHA也能夠在單一刀片服務器上運行繁重的虛擬機工作負載,他稱。“不用在大量的刀片服務器上花大量的資金,取而代之的是你無需犧牲性能就能夠增加這些刀片服務器的投資回報率。”Bryan稱。
Laliberte稱,他觀察了數據中心網絡架構的未來,發現這類架構僅僅剛剛起步。如果你考慮的是復雜性和規模,并且在你的環境中擁有數千臺服務器和交換機,那么任何類型的架構調整都耗時耗力。
僅僅是花時間對三層架構進行改良,就需要花上三個階段。“這些情況已經變成了現實并得到了宣傳,但是要被大規模部署還需要幾年時間。”
案例研究:正在使用中的Fabric網絡架構
Dan Shipley以往巡視數據中心時,他所看到的全部是一堆雜亂無章的線纜和交換機。它們管理起來即費錢又容易出錯。Shipley為一家名為供應網絡公司的架構師。該公司總部位于圣路易斯市,是一家總資產達6億美元的辦公用品批發商。Shipley稱,公司遇到的所有典型問題都與傳統的基礎設施有關:300臺服務器消耗掉了大量的電力,占用了大量的空間,在硬件維護時必須要停止運行。
“我們主要使用的是惠普的產品。我們從惠普那里訂購了這些服務器。由于這些服務器的研發時代都不盡相同,因此如果一臺服務器的主要出現了故障,那么我們的員工就要為此忙上一晚上,這非常痛苦。所以我們說,‘看啊,我們終于擺脫了這種痛苦。’虛擬化已經成為了主流,我們需要從這個傳統游戲中跳出來。”
目前,供應網絡在他們的數據中心中所創建的東西與傳統方式有著很大的不同。公司沒有部署以太網和架構交換機,而是選擇了Xsigo的I/O Director,其位于服務器機架頂層,負責定向流量。機架上的所有服務器都被插入到一個盒子里,這個盒子能夠動態地建立與其它所有數據中心資源的連接。與其它的數據中心架構不同,I/O Director提供了InfiniBand架構。InfiniBand為一種基于開源標準,用于高速通信的交換式光纖通信鏈路。
Shipley稱:“在你的所有服務器上,你可以去除所有的線纜、以太網和架構交換機,將其與一個InfiniBand線纜連接,出于冗余考慮你可以連接兩個,這就是我們所做的工作。”這些線纜將被插入I/O Director中。“我希望將所有的這些都連接至一個外部光纖通道存儲,創建一個虛擬化fabric存儲網絡。實際上,這些都通過InfiniBand架構運行,而服務器……我認為它們仍然在通過fabric進行連接。”
這一配置意味著他們現在僅僅使用兩條線纜,而不是多條線纜,同時擁有大量的帶寬。
供應網絡公司實現了徹底的虛擬化,他們的數據中心數量由大約20個架構縮減到了4個。電力消耗和冷卻能耗也得到了降低。
Shipley稱,InfiniBand已經在超級計算機領域被應用了十年時間,其具有低成本和開放性。然而相反的是,其它的廠商都在對以太網進行投資,因為他們不希望看到InfiniBand勝出。目前I/O Director傳輸速度為每秒56G,而最快的以太網連接也不過每秒10G。
在成本方面,Shipley稱一個端口的10G以太網網卡的價格約為600美元,同時在另一端還需要一個以太網交換機端口,其成本為每個端口大約為1000美元。“因此對于每一個以太網連接來說,你需要1600美元。”一個40G單個端口InfiniBand適配器價格大約為450至500美元。他稱,36端口的InfiniBand交換機為6000美元,平均下來每個端口的價格為167美元。
Shipley稱,公司已經取消了所有的核心以太網交換機,以支持InfiniBand技術。
他承認:“我首先擔心的是……怕我自己不了解InfiniBand。”當時大多數企業架構為fabric和以太網。他稱:“我們帶來了I/O Director,并且與思科的統一數據中心進行了對比。前者不僅成本低,速度快,而且簡單易用。同時Xsigo的支持也非常的不錯。”
Shipley稱,此前的大型數據中心工作需要花上12個小時。自從部署了I/O Director,同樣的工作所需要時間不超過3個小時。現在將虛擬機從一個托管主機遷移至另一個上只需要幾秒鐘時間,而以往要花上數分鐘才行。
他稱,他最初擔憂的是,由于Xsigo是一家規模較小的廠商,擔心它們用不了多長時間就會倒閉。但是,他們發現連VMware都是Xsigo的客戶。
企業戰略集團高級分析師Bob Laliberte 稱:“Xsigo宣稱,你還可以使用他們的產品替代使用以太網和fabric,并創建一個fabric網絡架構。他們的說法是對的。當你談論數據中心網絡和數據中心架構時,Xsigo正在幫助創建一個兩層的架構。不過,瞻博、思科和博科正在嘗試創建更為扁平的網絡架構。”
Laliberte 稱,InfiniBand是一個優秀的協議,但是這一協議未必會被大規模使用。“它們目前主要還是應用在需要進行極快計算的超級計算領域。”