2013年,大數(shù)據(jù)(Big Data)的熱潮席卷全球,大數(shù)據(jù)改不僅僅變著企業(yè)現(xiàn)有的運(yùn)營模式,核心的用戶數(shù)據(jù)將成為業(yè)務(wù)決策的重要依據(jù),同樣影響著企業(yè)未來的贏利能力。IT行業(yè)的目光聚焦于大數(shù)據(jù),快速增長的大數(shù)據(jù)背后隱藏著巨大的商業(yè)價(jià)值,同樣也為數(shù)據(jù)所有者,分析服務(wù)機(jī)構(gòu)和IT解決方案提供商帶來新的發(fā)展機(jī)遇。
從Google、Facebook、沃爾瑪?shù)葒H公司大數(shù)據(jù)應(yīng)用的成熟完善,到阿里巴巴、新浪、 百度等國內(nèi)互聯(lián)網(wǎng)企業(yè)紛紛開展大數(shù)據(jù)分析,以現(xiàn)有瀏覽行為和閱讀偏好為基礎(chǔ)分析數(shù)據(jù),挖掘出更多新的商業(yè)機(jī)會(huì)。
大數(shù)據(jù)概念的起源
2008年9月4日《自然》(Nature)刊登了一個(gè)名為“Big Data”的專輯,大數(shù)據(jù)(Big Data)概念首次提出,該專輯對(duì)如何研究PB級(jí)容量的大數(shù)據(jù)流,目前正在制訂的、用以最為充分地利用海量數(shù)據(jù)的最新策略進(jìn)行了探討。
2009年7月O’Reilly Media出版社出版了一本名為“Beautiful Data”的書,揭示了大數(shù)據(jù)在預(yù)防犯罪、航天工程、藥品研發(fā)、社交網(wǎng)絡(luò)等多個(gè)領(lǐng)域,近20個(gè)基于大數(shù)據(jù)處理的應(yīng)用實(shí)例,呈現(xiàn)了大數(shù)據(jù)獨(dú)特的魅力所在,對(duì)于讀者而言分析和利用數(shù)據(jù)、開展分析將是一件引人入勝的事情。
隨后關(guān)于大數(shù)據(jù)的討論成為熱議的話題,微軟出版了“第四范式—數(shù)據(jù)密集的科學(xué)發(fā)現(xiàn)”; 2012年3月29日,奧巴馬政府公布了“大數(shù)據(jù)研發(fā)計(jì)劃”,投資超2億美元以改進(jìn)從海量和復(fù)雜的數(shù)據(jù)中獲取知識(shí)的能力,同一天,我國科技部發(fā)布的“‘十二五’國家科技計(jì)劃信息技術(shù)領(lǐng)域2013年度備選項(xiàng)目征集指南”把大數(shù)據(jù)研究列在首位。
大數(shù)據(jù)引發(fā)熱議
關(guān)于大數(shù)據(jù)還沒有一個(gè)統(tǒng)一的定義,但這不影響著對(duì)其的研究和探討,接下來從各分析機(jī)構(gòu)的觀點(diǎn)來認(rèn)知、了解大數(shù)據(jù)。
Gartner---高德納咨詢公司
研究機(jī)構(gòu)Gartner給出了這樣的定義,“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
同時(shí)Gartner認(rèn)為大數(shù)據(jù)將成為用戶的主流業(yè)務(wù),不僅在近十年大放異彩,而且同樣會(huì)和ERP企業(yè)資源規(guī)劃、CRM供應(yīng)鏈和客戶管理以及其他應(yīng)用系統(tǒng)一樣,成為常規(guī)業(yè)務(wù)應(yīng)用。
IDC---國際數(shù)據(jù)公司
IDC通過研究并預(yù)計(jì),到2020年全球數(shù)字信息將增長44倍。而全球90%的數(shù)據(jù)都是在過去兩年中生成的,其中2011到2012年全球所創(chuàng)建的數(shù)據(jù)內(nèi)容增長了48%。
由于數(shù)據(jù)量的激增,在全球范圍內(nèi),大數(shù)據(jù)技術(shù)與服務(wù)市場將會(huì)以31.7%的年均復(fù)合增長率增長,到2016年,全球大數(shù)據(jù)技術(shù)和服務(wù)市場將達(dá)到238億美元,而中國將成為全球最重要的大數(shù)據(jù)市場之一。
如何應(yīng)對(duì)大數(shù)據(jù)
在大數(shù)據(jù)時(shí)代背景之下,由于各行業(yè)的數(shù)據(jù)激增,如何有效管理和分析數(shù)據(jù),做出最有利的決策,從而保障業(yè)績的快速增長?如何從大量數(shù)據(jù)中運(yùn)用機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、自然語言處理等技術(shù)挖掘出有價(jià)值信息?這些就是CIO需要首先解決的問題。
無論搜索引擎還是電商,從傳統(tǒng)行業(yè)數(shù)據(jù)庫到商業(yè)系統(tǒng)數(shù)據(jù)倉庫,每天都會(huì)產(chǎn)生大量的數(shù)據(jù),這些數(shù)據(jù)里面涵蓋了一些非常有價(jià)值的信息,挖掘出這些價(jià)值可以直接或間接為企業(yè)和機(jī)構(gòu)帶來利潤。
從 龐大數(shù)據(jù)量中發(fā)現(xiàn)新的商業(yè)機(jī)會(huì),用戶對(duì)數(shù)據(jù)庫的要求不再是單純的存儲(chǔ)功能,如何從海量數(shù)據(jù)(包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))中提取有用的信息,快速 準(zhǔn)確的反映出來成為新的商業(yè)模式。依托于來自內(nèi)部和外部資源的信息流,企業(yè)將擁有多樣的發(fā)展機(jī)會(huì),通過將原有理性決策改變?yōu)閿?shù)字決策,整合全新的業(yè)務(wù)模 式、決策流程以發(fā)現(xiàn)更多樣化的發(fā)展機(jī)會(huì)。
眾志和達(dá)(英文SOUL),作為中國信息存儲(chǔ)、數(shù)據(jù)安全與應(yīng)用領(lǐng)域領(lǐng)先的解決方案與服務(wù)提供商, 針對(duì)IT系統(tǒng)面臨大數(shù)據(jù)的挑戰(zhàn)難題,先后推出海量大數(shù)據(jù)存儲(chǔ)及歸檔工具,業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步工具,大數(shù)據(jù)挖掘、計(jì)算和管理平臺(tái),滿足IT中心的多樣化海量 數(shù)據(jù),多種應(yīng)用的計(jì)算與管理需求。
海量大數(shù)據(jù)存儲(chǔ)及歸檔工具--- SureSave DCS1000高性能企業(yè)級(jí)分布式計(jì)算存儲(chǔ)系統(tǒng)
面 對(duì)海量大數(shù)據(jù)的信息存儲(chǔ)、數(shù)據(jù)歸檔及管理難題,SureSave DCS1000分布式計(jì)算存儲(chǔ)系統(tǒng)為用戶提供了一個(gè)功能強(qiáng)大、運(yùn)維簡單且經(jīng)濟(jì)的解決方案。SOUL 自主研發(fā)的DCSFS文件系統(tǒng)提供了智能橫向擴(kuò)展的核心基礎(chǔ),當(dāng)用戶的業(yè)務(wù)系統(tǒng)數(shù)據(jù)激增時(shí),DCS 存儲(chǔ)節(jié)點(diǎn)以標(biāo)準(zhǔn)化的企業(yè)級(jí)模塊設(shè)計(jì),靈活地應(yīng)對(duì)存儲(chǔ)性能及容量的急劇擴(kuò)展需求,同時(shí)為用戶構(gòu)建一個(gè)高性能、高可擴(kuò)展、安全可靠的分布式存儲(chǔ)基礎(chǔ)平臺(tái)。
業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步工具---SureSave DSP1000數(shù)據(jù)挖掘輔助系統(tǒng)
SureSave DSP1000是專為企業(yè)級(jí)用戶定制的數(shù)據(jù)挖掘輔助系統(tǒng),通過鏡像功能可保證與原有業(yè)務(wù)系統(tǒng)數(shù)據(jù)保持同步。為了配合數(shù)據(jù)挖掘系統(tǒng),DSP可對(duì)鏡像的數(shù)據(jù)進(jìn) 行自動(dòng)克隆、掛載、啟動(dòng)應(yīng)用系統(tǒng),數(shù)據(jù)挖掘系統(tǒng)即可在查詢機(jī)中對(duì)克隆數(shù)據(jù)進(jìn)行抽取轉(zhuǎn)換,既保證挖掘系統(tǒng)中獲得的數(shù)據(jù)的有效性,同時(shí)又不影響業(yè)務(wù)系統(tǒng)的正常 運(yùn)行,解決了數(shù)據(jù)挖掘與業(yè)務(wù)穩(wěn)定運(yùn)行之間的矛盾。
大數(shù)據(jù)挖掘、計(jì)算、管理平臺(tái)---SureSave BDP大數(shù)據(jù)計(jì)算與管理平臺(tái)
SureSave BDP是基于SureSave DCS分布式數(shù)據(jù)計(jì)算存儲(chǔ)系統(tǒng)的數(shù)據(jù)挖掘工具,通過分布式存儲(chǔ)平臺(tái)和Map/Reduce并行計(jì)算框架,添加數(shù)據(jù)計(jì)算節(jié)點(diǎn)來擴(kuò)充計(jì)算資源,有效利用各個(gè)節(jié)點(diǎn)的并行計(jì)算能力,支持Linux操作系統(tǒng)和主流的關(guān)系型數(shù)據(jù)庫。
SureSave BDP整合了各種分散的數(shù)據(jù)源,并依據(jù)每個(gè)數(shù)據(jù)源的特性和 API,尋找不同層級(jí)數(shù)據(jù)之間的聯(lián)系,通過重建一個(gè)新的數(shù)據(jù)層,并用圖形化的方式將此展現(xiàn)給數(shù)據(jù)分析師。同時(shí)SureSave BDP會(huì)提供了多種算法來處理數(shù)據(jù)。
SureSave BDP大數(shù)據(jù)計(jì)算與管理平臺(tái)基于數(shù)據(jù)挖掘全生命周期,以挖掘模型為核心,能夠以更加靈活、快速的方式滿足用戶的需求。SureSave BDP不僅可以幫助客戶收集和處理來自網(wǎng)絡(luò)和多元化數(shù)據(jù)源,還能結(jié)合分析客戶的私有數(shù)據(jù),以幫助客戶更好地發(fā)覺商業(yè)契機(jī)和新的趨勢(shì),而且通過將信息可視 化,幫助客戶用最簡單的方式了解和處理信息。
SOUL為大數(shù)據(jù)時(shí)代打造了安全可靠、高效靈活的數(shù)據(jù)計(jì)算解決方案,以智能化、可拓展的開放式系統(tǒng)設(shè)計(jì),輔助用戶實(shí)現(xiàn)從傳統(tǒng)IT應(yīng)用向云計(jì)算、大數(shù)據(jù)應(yīng)用的平滑遷移,從而更加快速開展大數(shù)據(jù)資產(chǎn)的分析、挖掘、管理,并從中獲取商業(yè)機(jī)會(huì)與競爭優(yōu)勢(shì)。