互聯網企業(yè)所提出的對介質的細顆粒度管理,現在已經成為企業(yè)用戶的共識,受限于軟件開發(fā)及技術研究實力的傳統企業(yè)用戶,即將轉而尋求從企業(yè)級IT系統級供應商那里獲得這樣的能力。
在規(guī)?;幕ヂ摼W數據中心用戶,如阿里巴巴、百度、騰訊等公司的IT團隊眼里,對數據中心細顆粒度的不懈追求,不僅意味著更好的控制、透明度以及可管理性,更重要的是,能夠從極其細微的顆粒度——磁盤的盤片、內存或閃存的顆粒的級別——對數據中心進行管理和編排,不會再因為“一顆腐朽的大樹,而放棄所有的森林”。
這一舉措的初始意愿或許是為了追求更高的透明度,并藉此獲得更好的經濟性,但提出這一建設思路的BAT及其他規(guī)模化數據中心企業(yè)慢慢發(fā)現,當業(yè)務負載-調度與編排平臺-底層細顆粒度控制結合在一起時,無論是上層的應用還是中間的orchestrator層,都能夠獲得最大化的經濟效益與靈活的IT基礎設施管理及配置,對企業(yè)來說,這意味著更進一步的服務業(yè)務的需求,甚至是實現所謂“業(yè)務驅動的數據中心”這一遠大的目標。
當華為IT產品線總裁鄭葉來提出“未來的數據中心應當是業(yè)務來驅動的,軟件定義只是一種手段”的觀點,意味著華為將不懈余力的尋求可以從上至下建立“業(yè)務驅動的IT基礎設施”的方法及可能性,這一過程也最終不斷下探IT平臺的顆粒度,并最終下探到磁盤的內部、內存與閃存的顆粒等介質層的“基礎組成單元”。
這就像在我們尋找人體奧秘的過程中,最終會深受RNA和DNA的影響一樣,介質的供應商,也正在被裹挾到——無論是主動還是被動——類似華為這樣的供應商的“業(yè)務驅動的IT基礎設施”的浪潮之中。
作為全球最大的存儲介質供應商,希捷顯然希望主導或者說主動參與到這一進程中來,特別是當華為——這個在中國企業(yè)級IT市場異軍突起的企業(yè)——提出這一需求之后,雙方的深入合作只是時間的問題。
9月17日,2014華為云計算大會第二天上午,鄭葉來代表華為公司與希捷科技全球市場與客戶總裁Rocky Pimentel簽署了《(華為與希捷的)戰(zhàn)略供應商合作協議》,這一協議的細節(jié)雖然暫未向媒體披露,但鄭葉來在現場表示:“這不是簡單的買與賣的關系,而是面向未來的研發(fā)上的深度合作。”
鄭葉來表示,希捷面向的是存儲介質的專業(yè)領域,華為希望能夠從介質這一幾乎是最底層的IT基礎設施層面,幫助用戶解決業(yè)務如何驅動IT、驅動數據中心發(fā)展的難題。
Rocky Pimentel則表示,希捷意識到,華為是與希捷志同道合的IT行業(yè)的領導者——將更多的業(yè)務驅動力釋放到介質及介質基礎控制上——實現業(yè)務驅動、軟件定義的IT架構。
從技術出發(fā)的戰(zhàn)略合作
根據《戰(zhàn)略供應商合作協議》,華為和希捷將調整雙方的產品和技術發(fā)展路線圖以保持一致,建立聯合實驗室,并在云存儲解決方案領域的產品、技術、市場等方面展開合作——換句話說,這并非是因為擔心受到未來硬盤產能的影響,而建立的供應鏈保證協議,華為和希捷將展開介質層面的技術聯合研發(fā)設計與應用研究。
作為華為方面的代表,鄭葉來在談到雙方的合作時非常直白的表示:“這不是買賣的關系,雙方的合作就像是男女結婚,第一要有雙方的意愿,第二是雙方都互相認可。”他表示,面向未來的IT市場,存儲的不確定性越來越大,而全球數據的增長已經難以被存儲介質容量的新增所消化:“雙方希望在存儲介質上有更好的技術,進行前瞻性的研究,(這里面)有大量值得探索的地方。”鄭葉來強調,“合作不會針對某個類型的客戶或是某個行業(yè)。”
在互聯網、物聯網、移動寬帶、云計算等趨勢的影響下,數據量的激增正變得不可控制,按照分析機構IDC的研究結果,2013年到2020年數據量將增長10倍,從4.4萬億GB到44萬億GB。
但問題是,全世界所有媒介類型的可用存儲容量(未使用字節(jié))的增長速度比數字宇宙增速要慢。在2013年,可用的存儲容量可以容納數字宇宙的33%。到2020年,能容納的數據量不足15%——即便世界上大部分的數據是暫時性的(如Netflix公司或HuluStream,XboxONE游戲互動,數字電視),無需存儲。
除此以外,我們處理數據的方式正發(fā)生巨大的改變:按照數據的“熱度”——數據的價值、使用的頻繁度以及所處生命周期——對數據的進行分層(分離及分割)的手段正越來越多的用戶所接受,企業(yè)用戶認識到,數據的存儲將不再是粗放型的,而是集中的、精細的、自動化的以及具有智能的。
在這樣的背景下,作為IT基礎設施系統及解決方案供應商的華為,以及作為作為基礎的構建模塊——存儲介質——的供應商希捷,就有了更加緊密進行合作,構建從存儲介質到存儲系統,再到數據管理與業(yè)務資源編排的IT技術架構的動力:“我們的戰(zhàn)略合作更多是技術層面的合作,對每個公司來說,大數據、云計算是很大的機會,而基礎則是企業(yè)寶貴的資產——數據,深入的進行數據的管理和挖掘,有賴于華為和希捷這樣的功能能夠合作提供更好的數據存儲,在各個方面都能夠為客戶提供更好的客戶體驗。”Rocky Pimentel表示。
談到合作伙伴華為,Rocky Pimentel表示,華為是IT行業(yè)的領導者,對希捷來說,雙方互相有在技術領域方面的優(yōu)勢與獨到之處:“我們意識到華為在軟硬件上都有好的發(fā)展,能夠與希捷建立技術領域更好的合作,我們也希望能夠更進一步進行合作。”
從公司層面來說,華為與希捷的合作意味著介質與系統廠商首次結合在一起,針對數據的存儲及其自身的特性進行合作研究,正如文章開頭所說的,在這背后是業(yè)務驅動的巨大動力,而最終將由軟件定義和設計。
介質的變革:業(yè)務驅動 軟件定義
企業(yè)級存儲的主流介質正在逐步轉變?yōu)殚W存,而不是希捷更為擅長的傳統磁盤,通過從Avago手中收購LSI的加速解決方案部門(ASD)以及閃存組件部門(FCD),希捷一躍成為企業(yè)級PCIe SSD閃存加速卡市場“第二重要的供應商(LSI時代的著名‘定位’)”。
作為一種速度更快、響應時間更及時的介質,利用閃存的方式需要考慮到性能、壽命、類型以及經濟性,這意味著它需要更多的“軟件定義”或者說是業(yè)務驅動——針對不同類型、不同級別、不同相應需求的業(yè)務負載需求??梢哉f,閃存與業(yè)界普遍關注的軟件定義及華為提出的業(yè)務驅動(存儲)密不可分。
但這一控制過程并非僅限于閃存盤(卡)本身,或者是存儲系統、計算系統本身,正如EMC所收購的XtremIO公司的CTO 任宇翔所說,這應當也必須是一個介質和系統配合的過程,比如在XtremIO全閃存陣列中,垃圾回收就被完全下放給SSD的Firmware來處理,而非負載在陣列的控制器上——這不僅需要對SSD品質的100%信任,更需要陣列控制器能夠得到來自SSD 100%的信息反饋。
另一方面,當越來越多的控制力傳遞給用戶,后者所獲得的管理能力或者說透明度,不是基于一個新的、控制單個盤片、單顆顆粒的全新GUI界面,而是基于硬件系統甚至操作系統,比如OpenStack(華為的Fusionsphere 5.0亦是如此)的響應于業(yè)務的策略以及智能,介質、介質的控制、系統的管理與操作平臺編排,必須深度結合,并基于用戶的策略開放給用戶業(yè)務的選擇,而不是介質、顆粒的選擇與管理。
無論是哪一種需求,華為與希捷的合作都應當被加深,鄭葉來對于華為與希捷合作的“背后推動力”表示:“(雙方合作的)需求是從上到下明確的需求,技術層面需要知道及響應上面需要什么,建立自上而下的合作。”鄭葉來的潛臺詞可以理解為:兩家公司的合作目的是要建立全程可管理、技術透明以及細顆粒度的技術體系,“這是來自用戶的需求。”
可想而知,未來對希捷及更多介質的管理,從存儲系統來說,將交由華為存儲的OceanStor OS存儲操作系統完成,從編排、管理平臺來說,FusionSphere及下一階段的FusionStorage也都將涉足——在2014HCC大會上,華為宣布將在FusionSphere下建立FusionStorage——可以管理到每一塊磁盤、每一顆閃存的分布式存儲智能管理編排工具。
當然,業(yè)務驅動、軟件定義的基礎架構也不僅僅只是來自于上層系統供應商,對希捷來說,在海量存儲成為現實的今天,希捷Kinetic平臺是這家“硬件公司”最新也是最具希望的嘗試。
海量存儲的未來:希捷Kinetic
在文章《海量存儲趨勢:IP化已成共識》中曾提到,以傳統的LBA方式——在動輒數千塊4TB甚至6TB硬盤的數據中心內——使用硬盤來進行大規(guī)模存儲,對于存儲管理員和應用平臺的開發(fā)人員來說,簡直就是一場噩夢。傳統硬盤廠商正在尋找更加適用于大規(guī)模存儲平臺,尤其是冷存儲平臺的硬盤接口。
因此,將IP接口與硬盤相融合成為了業(yè)界在面向高密度、大規(guī)模的存儲系統的技術需求時的共識,包括希捷、WD、HGST、東芝等在內的主流硬盤供應商當下都在這一領域投入了相當程度的精力,尤其是希捷。
IP硬盤在海量存儲領域的優(yōu)勢十分明顯,首先IP硬盤都是采用Key/Value的方式訪問的,這是一個類似數據庫訪問的機制:“在用戶存儲數據的時候,硬盤會返回一個Key,這個Key‘指向’Value,也就是實際的數據,而Key采用哈希算法生成,不會重復、計算效率高。如果需要提取數據,只需要提供對應的Key就可以得到Value。”
這一Key對應Value的架構,某種意義上來說,就是一種對象存儲。在對象存儲中,不存在文件目錄、層級的概念,其“將NAS垂直的樹形結構改變成平等的扁平結構,從而提高了擴展性、增強了可靠性、具備了平臺無關性等重要存儲特性”,而IP硬盤的這種機制,與對象存儲“將樹形的“目錄”和“文件”替換為扁平化的“ID”與“對象””是完全一樣的,這也就難怪,就IP硬盤本身就有人認為“天然就是一個對象存儲”,而這也讓IP硬盤成為對象存儲的最好選擇。
其次,海量存儲必然存在大規(guī)模并行訪問的需求,而IP硬盤的優(yōu)點恰恰在此。因為每一個IP硬盤上都必然有一顆處理器,也就意味著訪問點是分布的,“有多少磁盤就有多少訪問點,那么應用或者客戶端程序可以直接并行地訪問所有連接到以太網上的磁盤,體系效率較高”,在支持大規(guī)模并行訪問上,顯然是有著得天獨厚的優(yōu)勢。
希捷科技高級存儲部首席技術官裘劍一(即James Hughes)在大會間隙的采訪中表示:“存儲的需求發(fā)生了變化,以前是文件、塊,但現在是對象存儲。”他表示,新的機會就像是一張白紙,可以通過設計一種新的存儲方式,從云、數據中心、互聯網以及大數據的角度出發(fā),“要知道,數據可不是來自Fiber Channel、SAS或是SATA,而是來自以太網。”
希捷Kinetic及其API所提供的Key/Value訪問方式正是以對象的方式,在存儲系統中建立聯通外部IP網絡與底層介質的訪問通道,它更安全、成本不高、數據讀取迅速、更符合數據訪問的隨機形式:“能夠為云、海量的存儲節(jié)約大量的在存儲介質上尋找數據的時間。”
但在與WatchStor記者的溝通中,裘劍一首度承認,希捷Kinetic并不是僅為硬盤設計的,雖然它提升了硬盤在海量存儲中的數據訪問速度和可靠性,但“它不只是為硬盤,更是為了海量存儲。”
他透露,希捷Kinetic的腳步甚至都不會停留在Flash存儲(SSD)上,希捷Kinetic on RAM甚至都會有:“或許(希捷Kinetic on RAM)更為重要,其實如果有一個編程的語言及訪問數據方式解決所有層的問題,那會是更加簡單的存儲。”
放棄傳統的LBA方式,改以Key/Value的方式訪問介質,正是一種“業(yè)務驅動、軟件定義”的實現:海量存儲正成為越來越多企業(yè)的業(yè)務,而還有什么比一個開放的希捷Kinetic API更稱得上是“定義硬件的軟件”呢?