Romley處理器平臺即將發布?英特爾在存儲領域的隱形霸主地位無可撼動?統一存儲將在今年大放異彩?單兵作戰已經落伍,融合基礎架構將成“新寵”?大數據崛起,集群存儲或是應對大數據問題的最佳架構?Hadoop將是大數據分析的終極利器?帶著這些未解答的疑問,我們走進了2012年,2012年的存儲領域將會有哪些趨勢?且聽我們一一道來。
從底層推動存儲技術發展:Romley、Open FCoE與PCIe SSD
如果說Romley、Open FCoE與PCIe SSD之間有什么聯系的話,那么他們之間的聯系就是英特爾!如果你對英特爾的印象還停留在服務器、處理器方面的話,那你就真的是“奧特曼”了,英特爾的“隱形觸手”早已進入到了存儲行業,并且其在存儲領域的話語權日益增強。據有關資料顯示,目前存儲產品超過80%的處理器芯片都是由英特爾公司出品,就連一向專注于高端存儲的HDS在去年發布的VSP中都是采用的英特爾芯片。
Romley處理器影響深遠
如果其他公司在取得如此成就之后,也許會“心滿意足”,但英特爾不會,在一統X86服務器市場之后,英特爾再次加大了對存儲市場的“關注”。英特爾一直在談的Romley處理器平臺將是其擴大存儲領域影響力的有一大“利器”。盡管其一再跳票,至今都還未正式發布。
▲英特爾透露的Romley技術細節
但從目前透露出的有關Romley的資料來看,其將在處理器平臺上內建6GB SAS,并且將以類似“軟RAID”的方式直接由處理器進行RAID。從目前處理器的運算能力上來看,這并不是天方夜譚,如英特爾至強E7平臺在性能和可靠性方面已經不弱于傳統的RISC小型機。可預見其一旦發布,必然會直接給HBA市場帶來直接影響,而不久之前LSI收購SandForce似乎就是一個“暗號”(關于LSI收購SandForce的意義,有興趣的朋友可以關注《LSI收購SandForce:精耕閃存市場》)。而從整個行業高度來看的話,Romley一旦發布必然將再次推動整個存儲行業的發展,并直接給中低端存儲市場注入一劑“強心針”。
推廣SSD不遺余力
不僅如此,英特爾在SSD市場上的霸主地位也已確定。如果說處理器芯片市場可以算是英特爾的老本行的話,那么SSD則彰顯了英特爾在新興市場中的創新能力。其對SSD的推廣力度可謂是不遺余力,在2011年4月的北京IDF大會上,英特爾對SSD的工作原理、測量方法以及使用誤區都做了詳盡的講解。在9月的美國IDF大會上,又分享了SSD在數據中心以及企業級IT系統的應用案例進行了分享。
IDF大會上的技術課程也許不能直接帶來銷售數字,卻使SSD深入人心。從市場研究公司IDC的最新數據即可略見端倪,2011年第三季度的SSD出貨量達到了66.6億,在企業級市場(包括數據中心系統、存儲陣列和服務器),銷售額由去年同期的2.478億美元增長到了5.22億美元,增長超過一倍。而在客戶端(消費級市場)的收入由去年同期的3.54億美元增長到了7.16億美元,也超過了一倍的增長。
IDC認為,SSD現在已經真正進入到了主流市場的行列。雖然不能完全說是英特爾的功勞,但其對SSD的推動作用卻不能忽視。并且,在美國的IDF大會上,英特爾正式對PCIe SSD的應用前景做了講解,服務器與存儲的再次融合即將發生。
Open FCoE推進數據中心統一網絡進程
Open FCoE是英特爾發布的一個開源項目,其旨在通過“允許具備以太網卡和光纖通道轉接器的系統登錄到以前只為光纖通道HBAs準備的光纖通道網路中”,這將“有助于加強網絡聚合性,降低數據中心的復雜性”。其以軟件形式實現,不需要任何特殊的硬件,也不依賴于主機的處理能力,并且這都是免費的。
數據量的海量劇增,尤其是海量的非結構化數據,對數據中心的網絡帶寬要求越來越高,并且,由于數據處理、分析技術的發展,企業數據的價值逐漸凸顯,數據的流通頻率越來越高,使得原有的數據中心網絡越來越難滿足企業的需求,迫切需要一種新的網絡協議來滿足大數據時代下的業務需求。而FCoE則被大多數人看作是未來數據中心網絡的最大競爭者。
從目前存儲協議的路線圖來看,在FC方面,目前主流的是8GB,16GB已經發布,并有應用,下一步則是32GB FC。而在以太網方面,10GB以太網已經開始使用,并已有部分大型企業數據中心開始嘗試40GB以太網,10GB無損以太網橋接技術已經逐步在存儲產品中使用(如戴爾 EqualLogic),下一階段目標則是100GB。32GB FC與之相差甚遠,所以基于以太網的FCoE的優勢就十分明顯了。
目前,英特爾的Open FCoE項目得到了業內諸多廠商的支持,如EMC宣布它的Symmetrix VMAX and VNX平臺將支持Open FCoE,思科Nexus 2000和5000統一光纖交換機也將認證它。據英特爾透露,還包括了NetApp、博科、戴爾、微軟、Novell、 Oracle和Red Hat等均對其提供支持。
統一存儲嶄露頭腳
盡管統一存儲出現了這么多年,但它的重要性和未來發展趨勢卻是近些年才被逐漸認識的。從2011年各廠商的宣傳和發展中,明顯可以感覺到其正在逐漸升溫,并超過了之前的熱點之一——集群NAS。據市場研究公司ESG發布的調查數據亦可證實,ESG在對306個有存儲規劃或者決策職責的IT專業人士的調查中發現,有70%已經或者正在計劃實施統一存儲。有23%已經實施了這個技術,47%的仍在規劃階段。
統一存儲指的是一種網絡存儲架構,它既支持基于文件的NAS存儲,又支持基于塊的SAN存儲。這種多協議系統可以通過IP或光纖通道(FC)連接至服務器。在統一存儲系統中,塊訪問通過光纖通道、SAS或基于以太網的iSCSI等接口來實現;文件訪問是指使用基于以太網的CIFS或NFS訪問存儲系統中的文件系統。
統一存儲較為被人所熟知的有NetApp早期發布的,被評為美國存儲雜志評為的2002年最佳存儲產品獎的FAS 900,而最新的則是EMC在2011年發布的,在業內大出風頭的VNX家族系列。不管是國際廠商還是國產廠商都先后推出了自己的統一存儲,如IBM的StorwizeV7000系列,戴爾的EqualLogic FS7500,國內廠商則有華賽(現已被華為收購)的Oceanspace N8000集群NAS存儲系統,創新科(UIT)的SV3000、第二代統一存儲SV5000G2以及SV6100/6800,同有飛驥公司的iSUM620、iSUM810和iSUM860等等。可謂是“百家爭鳴,百花齊放”。
▲2011年EMC大出風頭的VNX家族
在統一存儲市場,老對手NetApp與EMC的角力將成為重頭戲。NetApp統一存儲產品的代表是FAS系列,其中中端產品的知名度最高,比如最新的中端產品NetApp FAS3040與FAS3020相比,其性能和可擴展性分別提高75%和50%。NetApp統一存儲產品可以支持文件服務、FC SAN、IP SAN和多網絡配置,能夠無縫升級到更高性能的系統。
EMC VNX系列是新一代統一存儲的代表,它遺傳了Celerra NAS和CLARiiON SAN的優秀基因,可以在單個存儲控制器內同時運行Celerra DART和CLARiiON FAIR存儲堆棧,并可通過Unisphere接口進行管理。與原有的EMC中端存儲系統相比,高可擴展的VNX的性能和效率提高了3倍,管理也更加簡單。VNX是高端技術下移的典型代表,具有全自動存儲分層、虛擬化、精簡配置等多種功能。
統一存儲一掃之前的不振,而在2011年嶄露頭腳,究其原因在于,數據量的迅猛增長,尤其是非結構化數據量的快速增長,對存儲的性能、容量和功能等提出了更高的要求,而原來單一的SAN或NAS已經不能滿足用戶多方面的存儲需求;iSCSI SAN的出現,逐漸消除了FC與IP之間的隔閡;從服務器整合到網絡融合,再到數據中心整合,整合已是大勢所趨,存儲也不能置身事外。
外部原因促使存儲廠商將目光再次聚焦到統一存儲上面,并相繼推出各自的產品。基于硬件技術的飛速發展,使得統一存儲的作用逐步凸顯,并將在未來大放異彩。
單兵作戰已落伍 融合基礎架構初登臺
據Gartner的研究報告顯示,對于企業來說,數據增長是數據中心硬件基礎架構所面臨的最大挑戰,其次分別是系統性能和可擴展性以及網絡阻塞和接入架構。在數據中心內擔負海量數據貯存重任的存儲設備,近幾年來正隨著各行各業數據量的爆炸性增長而逐漸走紅,其受用戶關注的程度,很多時候甚至還超越了服務器。這也導致了數據中心面臨最大的壓力也不再是計算,而是存儲和網絡。從而,數據中心的運行效率取決于存儲系統的部署和網絡設計。
未來的數據中心,不管是對企業內部人員,還是對于外部客戶,都會通過網絡連接,針對不同的應用有單獨匹配的設備提供支持,所有的計算都通過互聯網聯結在一起,這些網絡也連接企業當中的近端存儲和遠端存儲。而開放性、高利用率、自動化、低耗、自動化管理也將成為新一代數據中心建設的關注點。
在這樣的背景下,出現了將服務器,存儲,網絡,虛擬化或是應用軟件等多重IT技術融合在一起的基礎架構供用戶選擇。隨著越來越多的廠商進入市場和現有的廠商不斷改進他們的產品,選擇融合基礎架構作為構建現代化數據中心的平臺正在吸引著越來越多企業用戶的關注。
▲惠普云系統CloudSystem的組成
在這其中,既有諸如惠普、IBM等老牌供應商,也有戴爾、華為等新加入者;并且各廠商根據各自所長而推出了各具特色的融合基礎設施解決方案。如網絡設備巨頭思科與存儲巨頭EMC和虛擬化技術巨頭VMware 共同組建了VCE聯盟,推出VBlock產品,與此類似是NetApp、思科和VMware的FlexPod。另一類的代表則是惠普、IBM,今年戴爾完成了對Force10的收購,使得戴爾也轉型成為一家整體解決方案供應商,并在最近推出了自有的融合基礎架構產品——vStart。
傳統的數據中心建設是一個非常漫長的過程,從規劃到最后完成,耗時長久,并且消耗大量的人力成本,總體投入成本較高。并且,在投入使用之后,運營成本和維護成本都相對較高。而采用類似vStart之類的整體解決方案則可避免此類問題。因為采用統一的融合基礎架構,整體解決方案供應商會根據預先規劃設計的模板搭建,部署靈活簡單,可大幅降低部署時間。如富士通、Sun推出的集裝箱數據中心突破了傳統數據中心空間的限制,大大降低了企業的建設成本,并且對企業的IT系統的地理空間的選擇也較為靈活,如集裝箱式數據中心直接停放在空曠處即可。
就用戶而言,已經不再將目光聚焦于單獨的硬件或軟件,由于大數據所帶來的沖擊,用戶更多地將目光聚集在架構或服務能力方面,希望能夠快速部署,并提供相應的業務需求,至于底層如何實現并不是用戶所要關心的問題,也不需要關心,而融合基礎架構正是基于此推出。
至于未來將會如何,我們不能確保,但從目前的市場反應來看,諸多的大小用戶均對此表示出濃厚的興趣。而實際上,我們看到,包括戴爾、IBM和惠普在內的整體解決方案供應商在2011年都加大了對這融合基礎架構的推廣和宣傳力度,而這種力度在2012年將會持續增強,并將伴隨“云”一起進入到企業數據中心。
大數據時代 集群存儲與Hadoop異軍突起
大數據(big data),目前業內并沒有一個明確的定義,其通常是指企業或組織創造的大量的結構化數據、半結構化數據和非結構化數據,企業或組織很難用傳統的分析方法來對這些海量數據進行處理。在這其中,業內普遍認為非結構化數據占據了企業數據的80%,這些海量數據給企業的數據分析處理以及存儲帶來了極大的挑戰。
雖然大數據給企業IT帶來了前所未有的挑戰,但其中所蘊含的價值與商機卻讓諸多企業“眼紅不已”,競相爭做“第一個吃螃蟹的人”。由此集群存儲和Hadoop應運而生,被業內認為是大數據時代的最佳工具。
集群存儲異軍突起
隨著整個IT領域技術的飛速發展,很多以前的新技術、新架構,如今面臨淘汰甚至已經消失在技術發展的浩瀚長河中;而今天的很多新技術,還將面臨同樣的命運,存儲領域的技術更迭相比其他任何一個領域都表現的格外明顯。
存儲領域的關鍵技術SAN和NAS架構如今也已經有了近20年的發展歷史,并從十年前開始取代DAS成為企業存儲的主流標準架構。然而,SAN和NAS平臺本質上是對 DAS 的改進,并未突破傳統存儲技術的瓶頸,傳統存儲架構依然存在根本性的體系結構缺陷。如高可擴展性、管理難度、安全性和可靠性等方面的局限使之很難應對大數據所帶來的挑戰。而集群存儲的誕生,使得企業IT“重見光明”。
集群存儲是指:由若干個“通用存儲設備”組成的用于存儲的集群,組成集群存儲的每個存儲系統的性能和容量均可通過“集群”的方式得以疊加和擴展。通過模塊化的硬件使得集群存儲具備開放式架構(高可擴展性)、分布式操作系統、統一命名空間、易于管理、負載均衡以及高性能等優勢。
利用集群存儲的這些特點可提高并行或分區I/O的整體性能,特別是工作流、讀密集型以及大型文件的訪問,通過采用更低成本的服務器來降低整體成本。并且得益于英特爾在存儲標準化方面的大力推動,標準化的硬件平臺使得集群存儲系統架構成為可能,并使之規模化。運算能力已經不弱于RSIC小型機的X86提供了較高的計算密度、較低的成本和功耗、以及簡單靈活的管理,使得基于X86平臺的集群存儲在應對大數據等規模化存儲需求時具備不可比擬的成本優勢。
▲初志CZSS集群存儲系統架構
在目前市場上,眾多中外廠商均已加入進來,如在塊級集群存儲方面,有基于網格架構的IBM XIV集群系統、3PAR Inserv-T800集群存儲系統、EMC Symmetrix V-MAX集群存儲系統以及Dell EqualLogic 虛擬化存儲系統。在文件級集群存儲系統方面的廠商或產品就更多了,如HP Ibrix集群存儲系統、華賽 N8500集群NAS系統、中科院計算所 BWStor 藍鯨集群存儲系統、初志 CZSS 集群存儲系統、昆騰 Stornext集群存儲以及被業內所熟知的EMC Isilon 集群存儲系統等等。
目前,集群存儲已經在國內的某些特定商業領域得到了成功應用,如能源、科學、廣電、娛樂等。在這些行業中,客戶需要存儲系統的功能、特點能夠適應其業務應用環境,并且不能影響過去的投資,更重要的是不能影響整個業務的運作。因為集群存儲可以在底層為用戶應用提供強大的支持,所以當用戶真正理解了其概念和優勢后,是非常容易接受的。
與歐美市場相比,中國市場受到傳統或比較陳舊的系統架構的阻礙相對較少,因此中國市場能夠比西歐或美國市場更易接受集群存儲。而在目前數據量劇增、數據流通頻繁、企業/組織高管越來越傾向于對數據進行分析后的結果來作出決策的情況下,集群存儲無論是在性能、可靠性還是成本等方面,均是有力的競爭者。
體現大數據價值 Hadoop大放異彩
這年頭,如果不知道Hadoop,你都不好意思跟人說你是“混”IT的。
Hadoop是一個分布式系統基礎架構,由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下,開發分布式程序,并充分利用集群的威力進行高速運算和存儲。其主要是由HDFS、MapReduce和Hbase三部分組成。
▲聽眾如云——Hadoop 2011中國云計算大會大數據論壇盛況
大數據概念的提出有一段時間,2011年的中國,大數據卻異常的火爆,在各類型的大會上,只要有關于大數據的內容,其必然人滿為患,而這種情形在“Hadoop中國云計算大會”上可謂是到了極致。其中,包括FaceBook、Google、淘寶、人人網、即刻搜索、華為以及騰訊等國內外知名IT公司都對Hadoop的應用經驗進行了分享,一時之間,聽眾如云,讓我們深切感受到大數據帶來的“火熱”。
另一方面,大數據所帶來的商業價值越來越吸引眾多的企業加入對大數據的分析行業,而在這之中,開源的Hadoop工具則成為大數據處理的首選工具。雖然目前的Hadoop生態系統還并未完善,但隨著越來越多的公司加入其中,業內人士認為,Hadoop必將成為大數據處理分析的首選“利器”。目前包括微軟、EMC以及IBM等諸多跨國廠商已經加入其中,并有基于Hadoop的相關產品發布。
開源的商業價值在哪里?我想紅帽公司也許會給我們提供一個很好的實例。據最新消息顯示,紅帽已經突破10億美元的收益。就Hadoop而言,其前景似乎更加樂觀,諸多投資人均表示對Hadoop具有濃厚興趣。從分布式層面上來說,Hadoop開源軟件整體方案供應商Cloudera已獲得7600萬美元投資,分布式架構新成員MapR和Hortonworks分別融資2900萬美元和5000萬美元;而從棧的層面上來看,Hadoop海量數據分析平臺Datameer、 Karmasphere和Hadapt已分別獲得了1000萬美元左右投資。大量專注這一技術的初創公司(如Zettaset、Odiago和Platfora等)更是如雨后春筍般迅速涌現。另外,投資機構Accel Partners最近還成立了一個總額為1億美金的大型數據基金,專門用于投資基于Hadoop和其他核心大型數據技術的應用。
并且,更為重要的是,越來越多的用戶加入到Hadoop這個生態系統之中,如在Hadoop World大會和網絡博客上經常可以看到Walt Disney、Orbitz、LinkedIn、和Etsy等很多大公司通過講述自己的親身實踐大贊Hadoop;在國內的典型代表則有淘寶、人人網、即刻搜索、華為以及騰訊等等。用戶口碑永遠是最有效的宣傳途徑。這些大用戶的“親身試法”,對很多潛在用戶來說是一種無形的鼓勵,也能在一定程度上幫助他們認識“從何開始、去往何處”的問題。
再加上Hadoop本身的優勢,除了核心設計思想MapReduce和HDFS(Hadoop Distributed File System?)外,Hadoop還包括了從類SQL查詢語言HQL,到NoSQL HBase數據庫,以及機器學習庫Mahout等內容。Cloudera、Hortonworks和MapR都已在他們的分布式系統中加入了Hadoop項目。最近,Cloudera還成立一個名為Bigtop的項目,集成了所有Hadoop相關項目。作為一個幕后英雄,Hadoop未來必將應用于越來越多的領域,風靡全球。