中橋國(guó)際調(diào)研咨詢(以下或簡(jiǎn)稱“中橋”)近日為戴爾完成的大數(shù)據(jù)對(duì)存儲(chǔ)需求的調(diào)研報(bào)告簡(jiǎn)要介紹了中國(guó)大數(shù)據(jù)技術(shù)和市場(chǎng)的趨勢(shì),并結(jié)合5個(gè)典型大數(shù)據(jù)應(yīng)用場(chǎng)景,淺析了存儲(chǔ),特別是戴爾流動(dòng)數(shù)據(jù)架構(gòu),如何滿足企業(yè)在大數(shù)據(jù)通過(guò)IT創(chuàng)造價(jià)值的過(guò)程中的需求。
大數(shù)據(jù)創(chuàng)造業(yè)務(wù)價(jià)值
有效利用大數(shù)據(jù),不僅可以實(shí)時(shí)監(jiān)控各種潛在風(fēng)險(xiǎn),提高生產(chǎn)效率,更重要的是為企業(yè)提供諸多洞見(jiàn),提升投資回報(bào)和競(jìng)爭(zhēng)優(yōu)勢(shì),而且有助于企業(yè)從多維度判斷全球市場(chǎng)潛在商機(jī),實(shí)現(xiàn)跳躍式快速發(fā)展。大數(shù)據(jù)通過(guò)IT創(chuàng)造價(jià)值主要分為三個(gè)階段,第一個(gè)階段是批量分析,數(shù)據(jù)主要來(lái)自企業(yè)內(nèi)部結(jié)構(gòu)化數(shù)據(jù);第二個(gè)階段是實(shí)時(shí)分析,數(shù)據(jù)分析類型逐步從結(jié)構(gòu)化演進(jìn)到包括非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù);第三個(gè)階段則是全方位事實(shí)分析,不僅有來(lái)自企業(yè)內(nèi)部的數(shù)據(jù),同時(shí)會(huì)納入來(lái)自第三方的競(jìng)爭(zhēng)數(shù)據(jù),以非結(jié)構(gòu)化數(shù)據(jù)為主。
中國(guó)市場(chǎng)大數(shù)據(jù)分析現(xiàn)狀
對(duì)于大數(shù)據(jù)分析在中國(guó)市場(chǎng)發(fā)展的現(xiàn)狀,中橋分析師表示,中國(guó)市場(chǎng)90%以上的用戶處于大數(shù)據(jù)分析第一階段,而且用戶大數(shù)據(jù)分析主要圍繞企業(yè)內(nèi)部的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)或事務(wù)性數(shù)據(jù),較少企業(yè)將日志、感應(yīng)數(shù)據(jù)、社群數(shù)據(jù)納入大數(shù)據(jù)分析。不過(guò)這一趨勢(shì)將會(huì)發(fā)生變化,因?yàn)榘虢Y(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在中國(guó)大數(shù)據(jù)分析的占比在未來(lái)24個(gè)月將會(huì)快速增長(zhǎng)。
大數(shù)據(jù)分析市場(chǎng)趨勢(shì)
雖然中國(guó)用戶尚處于大數(shù)據(jù)分析的第一階段,但中國(guó)企業(yè)已經(jīng)意識(shí)到其重要性。那么在數(shù)據(jù)分析解決方案部署上,中橋分析師表示,在未來(lái)12個(gè)月40.9%的企業(yè)級(jí)用戶考慮部署新的數(shù)據(jù)分析解決方案;而對(duì)于45.0%中小企業(yè)來(lái)說(shuō),未來(lái)12-24個(gè)月將成為大數(shù)據(jù)分析新方案的強(qiáng)增長(zhǎng)點(diǎn)。
圖1.大數(shù)據(jù)分析IT投資趨勢(shì)
大數(shù)據(jù)存儲(chǔ)的挑戰(zhàn)
那么,在大數(shù)據(jù)創(chuàng)造價(jià)值的過(guò)程中,中國(guó)用戶又面臨哪些存儲(chǔ)挑戰(zhàn)?分析師表示,受訪企業(yè)和機(jī)構(gòu)在進(jìn)行數(shù)據(jù)分析時(shí)面臨的存儲(chǔ)難題依次為:存儲(chǔ)容量不能滿足需求(50.1%)、資源配置復(fù)雜(44.4%)、采購(gòu)和運(yùn)營(yíng)成本高(40.2%)、不能滿足并行處理能力需求(39.3%)、非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)分析(33.2%)、存儲(chǔ)硬件利用率低下(20.9%)。
圖2.大數(shù)據(jù)存儲(chǔ)挑戰(zhàn)
這表明在大數(shù)據(jù)時(shí)代,在數(shù)據(jù)量飛速增長(zhǎng)的情況下,企業(yè)的存儲(chǔ)容量面臨的壓力最大,而應(yīng)用的多元化和IT的分層管理,帶來(lái)了系統(tǒng)IT資源配置和管理的復(fù)雜;要滿足如此海量數(shù)據(jù)和多種應(yīng)用的需求,企業(yè)的存儲(chǔ)采購(gòu)和運(yùn)營(yíng)成本也居高不下;而多個(gè)應(yīng)用的同時(shí)運(yùn)行,則對(duì)系統(tǒng)的并行處理能力提出了更高要求;非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)分析則進(jìn)一步反映了企業(yè)數(shù)據(jù)類型的多樣性和復(fù)雜性。因此,為了滿足大數(shù)據(jù)時(shí)代的IT需求,企業(yè)需要大容量、高性能、保證數(shù)據(jù)生命周期高性價(jià)比的存儲(chǔ)來(lái)滿足大數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)保護(hù)和業(yè)務(wù)連續(xù)性需求。
戴爾流動(dòng)數(shù)據(jù)特色
針對(duì)上述大數(shù)據(jù)時(shí)代中國(guó)用戶普遍遇到的存儲(chǔ)挑戰(zhàn),以及用戶對(duì)于新型存儲(chǔ)的需求,分析師認(rèn)為,戴爾流動(dòng)數(shù)據(jù)架構(gòu)可以簡(jiǎn)單快捷的實(shí)現(xiàn)存儲(chǔ)容量和性能的升級(jí)擴(kuò)展;橫向擴(kuò)展可以跨不同節(jié)點(diǎn)擴(kuò)展,保證了在容量擴(kuò)展時(shí)性能不會(huì)衰減,以及容量和性能的獨(dú)立升級(jí)線性擴(kuò)展;同時(shí)跨不同節(jié)點(diǎn)實(shí)現(xiàn)了無(wú)斷代技術(shù)升級(jí),避免了叉車式斷代升級(jí)帶來(lái)的管理難度和對(duì)業(yè)務(wù)連續(xù)性的影響,確保了存儲(chǔ)生命周期的高可擴(kuò)展性。此外,戴爾通過(guò)一個(gè)“智能”(數(shù)據(jù)塊級(jí)智能)和三個(gè)“自動(dòng)化”(數(shù)據(jù)分類自動(dòng)化、映射自動(dòng)化、遷移自動(dòng)化)、流動(dòng)數(shù)據(jù)的分層結(jié)合、不同RAID級(jí)別和存儲(chǔ)層,滿足不同工作負(fù)載對(duì)高可用、高性能和容量的需求,以最微粒化的維度提高大數(shù)據(jù)分析過(guò)程中的資源利用率。戴爾流動(dòng)數(shù)據(jù)架構(gòu)還結(jié)合一系列的存儲(chǔ)容量?jī)?yōu)化技術(shù)(自動(dòng)精簡(jiǎn)、數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除),大大加少了資源浪費(fèi)。其集群、閃存技術(shù)(SLC和MLC)和固態(tài)盤分層技術(shù)的結(jié)合,有效提高了IOPS,降低了時(shí)間延遲,實(shí)現(xiàn)了大數(shù)據(jù)對(duì)OLTP和OLAP的高要求,以及存儲(chǔ)容量可擴(kuò)展和資源優(yōu)化的目的。
應(yīng)用場(chǎng)景分析
1. SQL應(yīng)用
英國(guó)某衛(wèi)生行業(yè)云計(jì)算提供商對(duì)于客戶各種需求的滿足,加大了對(duì)數(shù)據(jù)存儲(chǔ)容量和性能、大數(shù)據(jù)分析頻率和速度的要求。該提供商結(jié)合Microsoft SQL Server 2012 Enterprise軟件和商業(yè)智能工具,通過(guò)混合云平臺(tái),為各種醫(yī)療機(jī)構(gòu)和醫(yī)生提供用戶可選擇的商業(yè)智能分析服務(wù)。大數(shù)據(jù)分析過(guò)程中,存儲(chǔ)主要面臨的挑戰(zhàn)是擴(kuò)展和存儲(chǔ)利用率以及近實(shí)時(shí)分析性能。
戴爾流動(dòng)數(shù)據(jù)架構(gòu)的橫向擴(kuò)展特性,以及引入閃存帶來(lái)的高性能和分層技術(shù)可以幫助醫(yī)療機(jī)構(gòu)在實(shí)現(xiàn)存儲(chǔ)資源優(yōu)化的同時(shí),滿足大數(shù)據(jù)分析的性能需求。
2. SAP HANA應(yīng)用
美國(guó)某電信供應(yīng)商面臨的問(wèn)題是,如何將不同來(lái)源的海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)近實(shí)時(shí)分析,通過(guò)多種渠道為2100萬(wàn)用戶提供所需服務(wù)。2012年,該公司部署了SAP HANA,對(duì)多種維度的數(shù)據(jù)進(jìn)行大數(shù)據(jù)近實(shí)時(shí)和實(shí)時(shí)分析??焖俨渴餝AP HANA,以及SAP HANA分析平臺(tái)對(duì)存儲(chǔ)容量、存儲(chǔ)性能、數(shù)據(jù)高可用性,以及數(shù)據(jù)保護(hù)的需求對(duì)傳統(tǒng)存儲(chǔ)帶來(lái)挑戰(zhàn)。
戴爾不僅提供了SAP HANA認(rèn)證整體解決方案,其閃存優(yōu)化大幅度提高了一層存儲(chǔ)的性能,并且流動(dòng)數(shù)據(jù)架構(gòu)的細(xì)粒度分層都保證了最大限度降低了SAP HANA部署、調(diào)優(yōu)和管理所需的資源。
3. Hadoop應(yīng)用
SecureWorks作為信息安全服務(wù)商,幫助從政府到企業(yè)的各種用戶通過(guò)Web應(yīng)用、網(wǎng)絡(luò)、日志等掃描及全天候安全監(jiān)控,提高信息安全性。隨著客戶量的增加,數(shù)據(jù)量快速攀升,如何保證存儲(chǔ)高可擴(kuò)展性、數(shù)據(jù)高可用性,以及存儲(chǔ)動(dòng)態(tài)資源配置能力,是選擇存儲(chǔ)的關(guān)鍵。
戴爾 Crowbar結(jié)合ClouderaHadoop方案,簡(jiǎn)化了Hadoop的方案整合,提高了存儲(chǔ)性能,優(yōu)化了存儲(chǔ)資源利用率,降低了業(yè)務(wù)風(fēng)險(xiǎn)。為從IT架構(gòu)管理,向IT 服務(wù)交付提供了標(biāo)準(zhǔn)化、規(guī)范化、自動(dòng)化的IT管理平臺(tái)。
4. Oracle應(yīng)用
紐約某教育信息交換中心支持64所不同的高等教育機(jī)構(gòu),為用戶提供多種應(yīng)用;同時(shí),為24所高教機(jī)構(gòu)管理140個(gè)Oracle數(shù)據(jù)庫(kù)、50多種Oracle應(yīng)用,對(duì)各種數(shù)據(jù)進(jìn)行批量分析。隨著數(shù)據(jù)庫(kù)容量和課件的非結(jié)構(gòu)化文件存儲(chǔ)容量快速攀升,如何提高存儲(chǔ)資源利用率、對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化存儲(chǔ)的集中統(tǒng)一管理,并確保課件所需要的容量和吞吐量,以及課件的在線響應(yīng)速度是他們面臨的挑戰(zhàn)。
戴爾流動(dòng)數(shù)據(jù)架構(gòu)結(jié)合數(shù)據(jù)塊級(jí)智能和虛擬頁(yè)技術(shù)讓用戶制定靈活的RAID級(jí)別和存儲(chǔ)層,以及數(shù)據(jù)存儲(chǔ)的盤道位置,通過(guò)各種資源整合效應(yīng),確保業(yè)務(wù)關(guān)鍵型工作負(fù)載性和高可用性需求。同時(shí),橫向擴(kuò)展保證容量擴(kuò)展過(guò)程的性能滿足課件所需要吞吐量,保證課件在所有時(shí)段的響應(yīng)速度。
5. VDI應(yīng)用
某保險(xiǎn)公司有450個(gè)保險(xiǎn)代理、50萬(wàn)用戶,部署了1300個(gè)虛擬終端。隨著虛擬終端數(shù)量以及應(yīng)用的增多,啟動(dòng)風(fēng)暴導(dǎo)致每天上班時(shí)啟動(dòng)時(shí)間在15-30分鐘。如何保證啟動(dòng)風(fēng)暴所需要的IOPs,同時(shí)控制桌面虛擬化存儲(chǔ)成本,滿足存儲(chǔ)容量需求,是該保險(xiǎn)用戶提高桌面虛擬化投資回報(bào)的最大挑戰(zhàn)。
戴爾12代服務(wù)器通過(guò)GPU技術(shù),提高了對(duì)于桌面虛擬化圖形文件的處理能力,大大降低保險(xiǎn)行業(yè)處理高清影像文件對(duì)終端顯卡的開(kāi)支;同時(shí),通過(guò)C系列和VRTX,為保險(xiǎn)行業(yè)用戶提供整體IT架構(gòu)解決方案,降低桌面虛擬化部署周期和管理難度。而戴爾流動(dòng)數(shù)據(jù)架構(gòu)同時(shí)保證了虛擬化性能,保證了生產(chǎn)效率。
中橋觀點(diǎn)
大數(shù)據(jù)正在改變著各行各業(yè)的產(chǎn)業(yè)格局和價(jià)值鏈分配。中國(guó)用戶已經(jīng)普遍意識(shí)到大數(shù)據(jù)分析的巨大價(jià)值,并計(jì)劃在未來(lái)24個(gè)月部署新的數(shù)據(jù)分析解決方案和存儲(chǔ),提高大數(shù)據(jù)創(chuàng)造價(jià)值的能力和效率。在這個(gè)過(guò)程中,傳統(tǒng)存儲(chǔ)難以滿足大數(shù)據(jù)對(duì)性能等多方面需求。戴爾流動(dòng)數(shù)據(jù)架構(gòu)將能夠很好地應(yīng)對(duì)大數(shù)據(jù)分析所面臨的存儲(chǔ)難題,為企業(yè)實(shí)現(xiàn)IT創(chuàng)造價(jià)值起到關(guān)鍵作用。