驅動大數據增長的主要因素包括移動設備和社交網絡的大幅度增長、以往紙質文件的數字化以及科研數據的增長。“他們的存檔文件正在高速增長,因為他們并不清楚哪些需要保存,哪些不需要保存,”EMC旗下的Isilon公司美國首席技術官Rob Peglar說道。
各個產業的公司都在為大數據分析投入大量資金。其中一個產業為對病人數據進行分析診療的醫療產業。Peglar說,在金融服務產業,對數據進行定性分析也頗受關注。在這方面,分析的是雜亂無章的股票交易數據。大數據分析在制造和設計業的應用也有所增長,但增長最快的市場還是對用戶行為數據進行分析以獲得市場情報信息的社會媒體和電子商務產業。
Hadoop—-大數據處理的寵兒
在眾多的大數據分析平臺當中,最為人所知的是ApacheHadoop平臺。這是一個用于分布式計算的開源軟件框架。Hadoop源于Google的MapReduce軟件框架以及Google使用的專有文件系統“Google文件系統”。Hadoop項目的參與者包括雅虎、LinkedIn、Facebook、Twitter、加州大學伯克利分校、Last.fm等。
大數據分析需求的增長主要受雜亂無章的數據的驅動,這正是Hadoop所擅長處理的數據。“這是對傳統結構化數據庫的補充,”Peglar說道。“結構化數據在增長,但是雜亂無章的數據的增長率要快得多。”
除非能部署一個由Isilon、Teradata或Oracle等公司提供的大數據應用,否則公司很有可能將類似Hadoop的分析平臺的計算基礎設施部署在商用硬件上。451集團的資深分析師RachelChalmers稱,“Hadoop對其運行的基礎設施平臺做出了某些假設。”
由于Hadoop基于Google的MapReduce,因此設想它將運行在類似Google的同質商用基礎設施之上。此外,它還了解哪些CPU將用于服務器硬盤存儲,”Chalmers解釋道。
缺少大數據處理的通用平臺
部署哪種類型的分析系統將取決于客戶的特定需求。數據分析領域的主要公司Teradata的產品營銷總監JimDietz稱,某些客戶對處理速度的需求高于對處理數量的需求。在這種情況下,他們會購買一個超高性能的應用。而對于那些希望存儲并分析數千用戶行為數據的客戶,他們則需要可存儲各種海量數據,并具有高處理性能的解決方案。
對于專業存儲廠商來說,“我們與大數據廠商更多的是合作,不是競爭,因為產品架構不一樣。硬盤廠商將硬盤提供給專業存儲廠家,專業存儲廠家再將多顆硬盤整合到一起提供給IT存儲廠商,IT存儲廠商的任務是將這些基礎存儲介質整合成一個應用系統給上端大量的數據來做存儲、交換、分析和保護。
此外,公司所部署的解決方案設計還必須具有足夠的靈活性,以應對未來的強勁增長需求。
大數據意味著高密度
Peglar說,可能影響數據中心管理者大數據(尤其是雜亂無章的大數據)基礎設施部署的首要因素是存儲。這些存儲陣列的面積和電力需求取決于它們對能源及對可用存儲空間的使用效率。
計劃實施大數據分析
科爾特說,那些推出了大數據分析的企業,往往是在金融服務和醫療保健領域,在這些領域,大量的數據可以被用于歸結揭示趨勢和最佳做法。
TheInfoPro公司每年進行一次熱門技術指數調查,詢問數百名IT專業人士關于他們的技術計劃相關問題。該公司最新調查活動是在2011年8月至今年四月期間進行的。
不足為奇的是,受訪者再次選擇服務器虛擬化技術作為企業能力增長的主要驅動力,與光纖通道SAN是企業數據存儲的主要目標。67%的受訪者表示,他們將80%到100%的生產服務器連接到光纖通道SAN。
驅動器容量的增長
然而,去年,隨著SAS、固態硬盤(SSD)和SATA驅動器逐漸占據企業占主導地位,使得光纖通道硬盤驅動器市場大受打擊。
如果問問這些企業在2011年購買了什么新的磁盤存儲設備,48%的受訪者表示購買了光纖通道驅動器,31%的表示SATA驅動器,19%的為SAS,2%的為SSD固態硬盤驅動器。但是,當被問及這些企業今年采購增長最多的設備,41%的受訪者表示他們購買了SAS驅動器,35%的為SSD固態硬盤驅動器;23%的為SATA驅動器;11%的表示為光纖通道。
混合陣列和SSD固態硬盤
大多數企業數據中心使用SSD固態硬盤與旋轉盤的混合陣列,而新建的數據中心很多采用全固態陣列和服務器SSD固態硬盤。EMC作為固態混合陣列第一的供應商,遠遠超過競爭對手。緊隨EMC之后的是由NetApp、日立數據系統(日立)、IBM公司、惠普、甲骨文和戴爾。
哪些供應商的產品正在使用混合陣列固態硬盤?
當被問及哪些供應商提供固態存儲服務器,Fusion-io則高居榜首,其次是IBM、惠普、甲骨文、戴爾和希捷。EMC為列第九,落后于NetApp。
調查顯示,排名前列的固態供應商分別為:Fusion-io公司、PureStorage公司、NimbusData、NimbleStorage公司、GridironSystems公司和Kove。Kove公司除了生產所有DRAM設備之外,該公司同時還出售接口閃存卡和all-flash陣列或用具。
供應商固態服務器首選是Fusion-io,其次是IBM公司、惠普、甲骨文和戴爾。希捷位列第六。
當被問及他們是否會實施all-flash陣列,7%的受訪者表示他們已經在使用該技術,而86%的受訪者表示目前沒有實施的計劃。另外,有4%的受訪者表示他們計劃購買all-flash陣列,但應該是在之后的半年到18個月的時間內。2%的受訪者表示他們18個月之后實施該計劃。
馬特 沃特爾斯,是三菱電力系統美洲分公司的企業基礎設施的建筑師,并未參與TheInfoPro公司的調查。但他表示,他所在的企業在去年十二月安裝了來自NimbusStorage公司的all-flash陣列,以解決他們企業的SAP環境的I/O放緩問題。
沃特爾斯最初試圖把第二組處理器放入他所有的SAP服務器中,升級內存達到其最大容量,但問題依然存在。他最后回到TB尺寸的SAP數據庫和主存儲裝載數據縮小了性能問題,這在當時是采用的一個惠普的EVA陣列。增加SSD到EVA的成本比購買all-flash陣列更昂貴,沃特爾斯說。
大數據計算節點部署的密度可能非常高。Peglar說,這些部署的功率密度可達到3kW或更高。這對于數據中心的管理者確定電力和制冷基礎設施的規格具有明顯意義。