幾十年前，當Oracle、SQL等數據庫技術風靡全世界的時候，廣大的IT人士可能不會想到在幾十年后的今天，一堆堆毫無計劃性、毫無關聯的社交網絡訪問記錄、圖片，或者音視頻會成為用戶手心里的“寶貝”，這些數據在當今可能會成為一個生意人致勝的法寶。而對于十幾年前，甚至幾年前開始建設數據中心的管理人員來說，也不會預料到后端的存儲空間會被大量的非結構化數據填滿？？
非結構化數據時代來臨
是的，大數據時代來了，而且來勢洶洶。大數據并不是一項技術，而是由于不斷增長的數據量和數據種類而逐漸衍生出來的一種現象。搜索一下大數據的定義也可以發現，各家廠商都在基于自身的理解去定義大數據。以NetApp為例，其大中華區系統技術及專業服務部總監何英華表示，NetApp認為大數據應該包含三大要素，分別是：大分析，幫助用戶獲得價值；高帶寬，讓數據處理速度更快；大內容，指的是不丟失任何信息并實現高擴展性。而Teradata天睿公司大中華區產品技術及銷售支持副總經理張錦滄則從四個維度解釋了大數據的概念——三個V和一個C.三個V分別指的是數據量大、數據種類多和數據增長速度快。一個C指的是處理、升級或利用大數據的分析手段比處理結構化數據要復雜的多。
雖然每個廠商對于大數據的理解都不同，但其中一個共通點就是大數據包含了大量的非結構化數據，包含了諸如圖片、音視頻、郵件、社交網絡數據等等與傳統關系型數據完全不同的數據類型。
ESG中國區總經理王叢認為，大數據與增長量有關，但是不代表增長快的就是大數據。從存儲角度來看，數據量的增長是一種挑戰，如何將這些增速飛快的數據進行存儲并合理規劃存儲空間，是亟須解決的問題。而從數據分析角度來看，大量的非結構化數據的增長在為用戶帶來挑戰的同時，也帶來了很多機遇。對于以交易型數據為主的行業，例如金融、零售業等，對數據進行分析，提煉出具有商業價值的信息將是此類用戶面臨的大數據挑戰。而對于像廣電IPTV、網游、社交網絡等需要存儲大量的音視頻、圖片、社交網絡數據等等非結構化數據的用戶來說，后端存儲如何應對飛速增長的龐大數據量，是他們面臨的大數據挑戰。王叢表示不同種類的行業，面臨的大數據挑戰也不可等同視之。
存儲領域的“大數據”效應
在大數據時代，非結構化數據量的增長是用戶必須要面對的難題之一。近幾年，針對非結構化數據的存儲系統也在不斷地出現。例如統一存儲、集群存儲等，都將海量的非結構化數據的存儲作為目標。這些存儲產品在大數據時代中能否合乎需求呢？
首先，統一存儲產品集中了SAN和NAS存儲兩種功能，分別面向關系型數據和非結構化數據。國內市場中，相比于NAS來說，SAN的發展速度和用戶采用率一直都占據優勢。但隨著最近兩年非結構化數據量的攀升，存取文件系統更加有利的NAS系統逐漸受到重視?？梢钥闯?，最近的兩年中，主流的存儲廠商EMC、NetApp、IBM、HP、Dell都將統一存儲作為了自己的推廣重點。
針對統一存儲，王叢表示，它也存在著一定的瓶頸。比如，在某個時段，非結構化數據猛增，此時，非結構化數據的存取會占據大部分的帶寬，而結構化數據就無法享受到應有的帶寬。在數據中心用戶中，以數據庫為主要內容的結構化數據往往又有很高的業務重要性。因此，王叢表示，對于大數據時代所要面臨的海量非結構化數據而言，統一存儲可能會存在瓶頸。
在Gartner首席分析師張瑾看來，大數據對于存儲領域帶來的最重要的影響就是從Scale-up向Scale-out的轉變。傳統的存儲一般都是采用雙控制器或者多控制器存儲，當容量和性能進行擴展的時候，往往只能從后端增加磁盤數量，當磁盤數量增加到一定程度時，前端的控制器卻無法隨之擴展，這種架構必定會形成性能瓶頸。但何英華也提出了不同的觀點，他說，對于用戶而言，Scale-up和Scale-out兩種架構也并不是完全沖突的，有時兩者也有互補的時候，用戶須根據自身的應用類型，才可以判斷需要哪種架構的存儲產品。
眾所周知，SAN系統具有很高的性能，但由于數據塊和網絡需求的增長，SAN系統的擴容問題也逐漸凸顯。NAS是公認的解決文件數據的最佳方案，但是NAS頭的瓶頸問題卻也無法滿足大數據的需求。用王叢的話說，存儲容量和控制器的處理能力不成線性增長，必然會導致性能瓶頸。王叢表示，在大數據時代之下，集群存儲的市場空間將會擴大。
在談及集群存儲和傳統存儲區別的時候，業內人士通常會使用一個形象的例子去描述。傳統的存儲相當于舊的火車，在一個火車頭的牽引下，若想提升存儲容量，只能采取不斷增加車廂數量，但是火車頭的牽引能力也是有限的。而集群存儲就類似于動車組，在增加容量的同時，性能也不會削減。通過將數據分布到集群中各個節點的方式，集群中的所有存儲資源可以整合為前端的應用服務器進行服務，大大提高了磁盤的利用率。
目前，存儲廠商在這方面的動作也顯示了集群存儲日漸受重視。例如，2010年，EMC通過收購Isilon公司，彌補了其在NAS產品線方面的空白，并且確定了其在Scale out NAS產品市場的領先地位。同時，戴爾在2010年也通過收購Exanet進入到了集群文件系統市場。IBM在同年4月份發布了新的集群文件系統SONAS.HDS通過收購BlueArc也開始銷售高端NAS產品。國內產品像華賽的N8000也是一款集群存儲產品。王叢表示：“集群存儲市場正在逐漸走向成熟，而目前中國市場可以選擇的集群存儲產品還不是很多。對于以非結構化數據為主營業務的中小型企業來說，一款可以滿足其基本需求的集群存儲是其迫切之需。”通過硬件存儲廠商的不斷并購也可以發現，他們早已嗅到了大數據帶來的無限商機，集群存儲市場潛力巨大。
大數據除了可以帶來集群存儲方面的市場機會之外，何英華也闡述了另一層面的大數據影響。他表示，伴隨著非結構化數據的增長，用戶所關心的重點可能會逐漸向數據倉庫、數據的挖掘、采集等方面傾斜。他說，在底層硬件存儲和用戶的應用之間，增加了另外一個操作系統層，該操作系統可以為用戶的應用與存儲提供一個無縫的連接。他認為，用戶面臨的挑戰未來會傾向于在軟件層面解決，底層的硬件存儲需要對這些軟件應用進行良好的支持。因此，NetApp也將重點放在了其Data ONTAP操作系統之上。何英華表示，Data ONTAP提供了豐富的API供用戶自己開發并適應自身環境的產品，以便更好地管理其應用和存儲產品。
數據分析的機遇
同時，一些傳統存儲廠商也不再滿足于自己在存儲方面的市場空間，紛紛開始向數據分析發力。他們在通過不斷的并購或者合作，在向數據分析領域擴展自己的觸角。例如EMC在2010年通過收購Greenplum，正式進入了數據倉庫市場。并且在2011年推出了支持大數據分析的下一代平臺——EMC Greenplum統一分析平臺。在同一年，IBM收購了數據分析公司Netezza，開始拓展商業價值方面的市場。而在戴爾企業戰略營銷副總裁Praveen Asthana來中國時，針對數據分析，他舉了一個很生動的例子。在加州有一個棒球隊，他們沒有錢去雇傭一些頂級球員。但他們卻花了較少的錢請了一位數學家，該數學家通過對很多球員和球隊的分析，得出了一些結論，這些結論主要是通過分析他們是靠什么因素獲取勝利的。而通過這個結論，該球隊找到了一些不是很出名的但是卻有其獨特優勢的球員，靠者他們獲得了很多獎項，并贏得了世界杯。Praveen Asthana表示，這就是數據分析的價值所在。
與此同時，這些傳統的存儲廠商也紛紛開始在Hadoop方面下功夫。從最近的新聞也可以看出Hadoop的確“集萬千寵愛于一身”。在收購了Greenplum之后，EMC推出了一款基于Hadoop的專用數據協同處理設備——Greenplum HD數據計算設備，可以一個單一、無縫的解決方案去實現對結構化和非結構化數據的協同處理。IBM在2011年也推出了基于Hadoop的InfoSphere BigInsights分析軟件，為大數據做準備。NetApp通過與Hadoop的“鼻祖”Cloudera公司合作，發布了其Open Solution for Hadoop解決方案，幫助用戶深入了解不斷增長的數據。同樣在2011年，戴爾也與Cloudera進行合作，加入了Hadoop陣營。有人形容現在的Hadoop就像當年的Linux.也有人預測，未來的Hadoop會取得像Linux一樣的成就。
王叢表示，Hadoop之所以會迅速占據技術熱門，是因為它很好地解決了目前數據的“無計劃性”。與以往的結構化數據不同，現在用戶面臨的數據種類、數據量，以及數據之間的關系都是毫無計劃和規律的，這對于傳統的數據庫來說，處理此類數據簡直不可能。而Hadoop的出現，解決了此類問題。在這里，就不贅述Hadoop的技術原理了。
作為一款出色的開源架構，確實給廠商帶來了很多便利性。但是，開源也就意味著很多方面還不很成熟，需要不斷完善。所以，王叢也表示，以目前Hadoop的發展狀況，只有那些具有充足的開發資源，并且有著豐富的Hadoop經驗的用戶才能夠開發出成熟的可用的平臺。
面對大數據的洶涌來襲，數據中心用戶必然會面臨更多的新技術抉擇。緊跟技術的潮流，選擇適合自己的大數據工具，才能在大數據的潮流中挖掘出更多的商業價值。
除了看到存儲廠商在大數據領域的動作以外，還可以發現數據倉庫廠商也扛起了大數據的旗幟。張錦滄表示，在大數據時代，分析工具能否快速收集和分析變化飛快的數據，并且如何去有效地使用它們是一個挑戰。而Teradata天睿公司在傳統數據倉庫方面積累經驗的同時，也通過收購Aster Data公司向大數據邁進了一步。
集群存儲
集群存儲一般由多個存儲節點組成，每個節點都包含了前端端口、控制器和后端的磁盤，他們組成了一個存儲單元。而在大數據到來需要擴展容量或性能時，會以節點為單位進行擴展。對于大數據時代之下，數據增長趨勢難以預測的用戶來說，集群存儲可以實現像搭積木一樣的簡易擴展性，同時也不會影響現有存儲的使用。
集群存儲的靈魂是其分布式操作系統，所有對集群存儲的操作都經由分布式操作系統統一調度和分發，分散到每個存儲節點上完成，可以大幅提升性能。這種結構與傳統的NAS或者SAN完全不同。集群存儲可以實現容量和性能的線性提升，不會遭遇到控制器的處理瓶頸。
京公網安備 11010502049343號