中橋國際調研咨詢(以下或簡稱“中橋”)近日為戴爾完成的大數據對存儲需求的調研報告簡要介紹了中國大數據技術和市場的趨勢,并結合5個典型大數據應用場景,淺析了存儲,特別是戴爾流動數據架構,如何滿足企業在大數據通過IT創造價值的過程中的需求。
大數據創造業務價值
有效利用大數據,不僅可以實時監控各種潛在風險,提高生產效率,更重要的是為企業提供諸多洞見,提升投資回報和競爭優勢,而且有助于企業從多維度判斷全球市場潛在商機,實現跳躍式快速發展。大數據通過IT創造價值主要分為三個階段,第一個階段是批量分析,數據主要來自企業內部結構化數據;第二個階段是實時分析,數據分析類型逐步從結構化演進到包括非結構化和半結構化數據;第三個階段則是全方位事實分析,不僅有來自企業內部的數據,同時會納入來自第三方的競爭數據,以非結構化數據為主。
中國市場大數據分析現狀
對于大數據分析在中國市場發展的現狀,中橋分析師表示,中國市場90%以上的用戶處于大數據分析第一階段,而且用戶大數據分析主要圍繞企業內部的結構化數據,如數據庫或事務性數據,較少企業將日志、感應數據、社群數據納入大數據分析。不過這一趨勢將會發生變化,因為半結構化和非結構化數據在中國大數據分析的占比在未來24個月將會快速增長。
大數據分析市場趨勢
雖然中國用戶尚處于大數據分析的第一階段,但中國企業已經意識到其重要性。那么在數據分析解決方案部署上,中橋分析師表示,在未來12個月40.9%的企業級用戶考慮部署新的數據分析解決方案;而對于45.0%中小企業來說,未來12-24個月將成為大數據分析新方案的強增長點。
大數據存儲的挑戰
那么,在大數據創造價值的過程中,中國用戶又面臨哪些存儲挑戰?分析師表示,受訪企業和機構在進行數據分析時面臨的存儲難題依次為:存儲容量不能滿足需求(50.1%)、資源配置復雜(44.4%)、采購和運營成本高(40.2%)、不能滿足并行處理能力需求(39.3%)、非結構化數據的大數據分析(33.2%)、存儲硬件利用率低下(20.9%)。 這表明在大數據時代,在數據量飛速增長的情況下,企業的存儲容量面臨的壓力最大,而應用的多元化和IT的分層管理,帶來了系統IT資源配置和管理的復雜;要滿足如此海量數據和多種應用的需求,企業的存儲采購和運營成本也居高不下;而多個應用的同時運行,則對系統的并行處理能力提出了更高要求;非結構化數據的大數據分析則進一步反映了企業數據類型的多樣性和復雜性。因此,為了滿足大數據時代的IT需求,企業需要大容量、高性能、保證數據生命周期高性價比的存儲來滿足大數據存儲、數據保護和業務連續性需求。
戴爾流動數據特色
針對上述大數據時代中國用戶普遍遇到的存儲挑戰,以及用戶對于新型存儲的需求,分析師認為,戴爾流動數據架構可以簡單快捷的實現存儲容量和性能的升級擴展;橫向擴展可以跨不同節點擴展,保證了在容量擴展時性能不會衰減,以及容量和性能的獨立升級線性擴展;同時跨不同節點實現了無斷代技術升級,避免了叉車式斷代升級帶來的管理難度和對業務連續性的影響,確保了存儲生命周期的高可擴展性。此外,戴爾通過一個“智能”(數據塊級智能)和三個“自動化”(數據分類自動化、映射自動化、遷移自動化)、流動數據的分層結合、不同RAID級別和存儲層,滿足不同工作負載對高可用、高性能和容量的需求,以最微粒化的維度提高大數據分析過程中的資源利用率。戴爾流動數據架構還結合一系列的存儲容量優化技術(自動精簡、數據壓縮和重復數據刪除),大大加少了資源浪費。其集群、閃存技術(SLC和MLC)和固態盤分層技術的結合,有效提高了IOPS,降低了時間延遲,實現了大數據對OLTP和OLAP的高要求,以及存儲容量可擴展和資源優化的目的。
應用場景分析
1.SQL應用
英國某衛生行業云計算提供商對于客戶各種需求的滿足,加大了對數據存儲容量和性能、大數據分析頻率和速度的要求。該提供商結合MicrosoftSQLServer2012Enterprise軟件和商業智能工具,通過混合云平臺,為各種醫療機構和醫生提供用戶可選擇的商業智能分析服務。大數據分析過程中,存儲主要面臨的挑戰是擴展和存儲利用率以及近實時分析性能。
戴爾流動數據架構的橫向擴展特性,以及引入閃存帶來的高性能和分層技術可以幫助醫療機構在實現存儲資源優化的同時,滿足大數據分析的性能需求。
2.SAPHANA應用
美國某電信供應商面臨的問題是,如何將不同來源的海量數據進行大數據近實時分析,通過多種渠道為2100萬用戶提供所需服務。2012年,該公司部署了SAPHANA,對多種維度的數據進行大數據近實時和實時分析。快速部署SAPHANA,以及SAPHANA分析平臺對存儲容量、存儲性能、數據高可用性,以及數據保護的需求對傳統存儲帶來挑戰。
戴爾不僅提供了SAPHANA認證整體解決方案,其閃存優化大幅度提高了一層存儲的性能,并且流動數據架構的細粒度分層都保證了最大限度降低了SAPHANA部署、調優和管理所需的資源。
3.Hadoop應用
SecureWorks作為信息安全服務商,幫助從政府到企業的各種用戶通過Web應用、網絡、日志等掃描及全天候安全監控,提高信息安全性。隨著客戶量的增加,數據量快速攀升,如何保證存儲高可擴展性、數據高可用性,以及存儲動態資源配置能力,是選擇存儲的關鍵。
戴爾Crowbar結合ClouderaHadoop方案,簡化了Hadoop的方案整合,提高了存儲性能,優化了存儲資源利用率,降低了業務風險。為從IT架構管理,向IT服務交付提供了標準化、規范化、自動化的IT管理平臺。 4.Oracle應用
紐約某教育信息交換中心支持64所不同的高等教育機構,為用戶提供多種應用;同時,為24所高教機構管理140個Oracle數據庫、50多種Oracle應用,對各種數據進行批量分析。隨著數據庫容量和課件的非結構化文件存儲容量快速攀升,如何提高存儲資源利用率、對結構化和非結構化存儲的集中統一管理,并確保課件所需要的容量和吞吐量,以及課件的在線響應速度是他們面臨的挑戰。
戴爾流動數據架構結合數據塊級智能和虛擬頁技術讓用戶制定靈活的RAID級別和存儲層,以及數據存儲的盤道位置,通過各種資源整合效應,確保業務關鍵型工作負載性和高可用性需求。同時,橫向擴展保證容量擴展過程的性能滿足課件所需要吞吐量,保證課件在所有時段的響應速度。
5.VDI應用
某保險公司有450個保險代理、50萬用戶,部署了1300個虛擬終端。隨著虛擬終端數量以及應用的增多,啟動風暴導致每天上班時啟動時間在15-30分鐘。如何保證啟動風暴所需要的IOPs,同時控制桌面虛擬化存儲成本,滿足存儲容量需求,是該保險用戶提高桌面虛擬化投資回報的最大挑戰。
戴爾12代服務器通過GPU技術,提高了對于桌面虛擬化圖形文件的處理能力,大大降低保險行業處理高清影像文件對終端顯卡的開支;同時,通過C系列和VRTX,為保險行業用戶提供整體IT架構解決方案,降低桌面虛擬化部署周期和管理難度。而戴爾流動數據架構同時保證了虛擬化性能,保證了生產效率。
中橋觀點
大數據正在改變著各行各業的產業格局和價值鏈分配。中國用戶已經普遍意識到大數據分析的巨大價值,并計劃在未來24個月部署新的數據分析解決方案和存儲,提高大數據創造價值的能力和效率。在這個過程中,傳統存儲難以滿足大數據對性能等多方面需求。戴爾流動數據架構將能夠很好地應對大數據分析所面臨的存儲難題,為企業實現IT創造價值起到關鍵作用。