請(qǐng)考慮以下“大數(shù)據(jù)”特性:
●以網(wǎng)頁上為主(不屬于先前的內(nèi)部數(shù)據(jù)傳送)
●涉及多個(gè)云環(huán)境
●與社交媒體應(yīng)用緊密關(guān)聯(lián),例如Facebook,Twitter和Linkedin
●規(guī)模空前
●數(shù)據(jù)有時(shí)“不潔凈”,甚至不可用
●數(shù)據(jù)大部分是非結(jié)構(gòu)化
●至少要引入幾種新工具,例如Apache的Hadoop和Hive,以及graph/triple存儲(chǔ)
分開來看,每種特性都可能構(gòu)成現(xiàn)有數(shù)據(jù)倉庫設(shè)置的一種變體。組合起來,這些特性代表了一種與眾不同的操作環(huán)境,在規(guī)劃時(shí)必須深入到每項(xiàng)特性,分別對(duì)待。也就是說,首先你要了解,基于未來可能的需求,哪種架構(gòu)最適合大數(shù)據(jù)分析。然后了解,如何能夠把它與現(xiàn)有的數(shù)據(jù)中心架構(gòu)(也可能是數(shù)據(jù)倉庫型架構(gòu))結(jié)合起來。
那么未來有哪些可能性需求呢?有跡象表明,每個(gè)機(jī)構(gòu)都會(huì)想要在下列特性中尋求一個(gè)獨(dú)特的組合:
1.為了維護(hù)客戶忠誠(chéng)度和出于營(yíng)銷目的,對(duì)中型客戶的社交媒體數(shù)據(jù)進(jìn)行有目標(biāo)訪問--無需實(shí)時(shí)數(shù)據(jù);
2.同樣,對(duì)于預(yù)期銷售而言也是需要的,但實(shí)時(shí)數(shù)據(jù)將會(huì)帶來更大價(jià)值;
3.出于安全考慮,當(dāng)網(wǎng)頁瀏覽者試圖訪問公司數(shù)據(jù)時(shí),有必要對(duì)該訪問者的社交媒體數(shù)據(jù)進(jìn)行少量實(shí)時(shí)訪問;
4.實(shí)時(shí)訪問“戰(zhàn)略威脅”數(shù)據(jù),例如,對(duì)公司的負(fù)面宣傳信息或是給公司造成不良影響的災(zāi)難信息,通常來講造成的影響較小,但有時(shí)波及范圍也很廣。
5.為了進(jìn)行市場(chǎng)分析對(duì)大量大數(shù)據(jù)進(jìn)行訪問--無需實(shí)時(shí)數(shù)據(jù);
6.為了開展具體行業(yè)或具體機(jī)構(gòu)新產(chǎn)品研發(fā),對(duì)大量和超大量社交媒體數(shù)據(jù)進(jìn)行訪問。這里,同樣不需要實(shí)時(shí)數(shù)據(jù),但是訪問速度越快效果越好。
上述組合要求決定了通常的數(shù)據(jù)需求量和交付速度,以及在“數(shù)據(jù)潔凈度”和“數(shù)據(jù)及時(shí)性”方面的折衷取舍。
我們現(xiàn)在來看看,針對(duì)這些個(gè)案的最優(yōu)架構(gòu):
1.訪問目標(biāo)客戶的數(shù)據(jù),你可能需要在每朵云上安裝查詢工具,滿足內(nèi)部數(shù)據(jù)存儲(chǔ)需要,在不至于向競(jìng)爭(zhēng)對(duì)手披露信息前提下對(duì)數(shù)據(jù)進(jìn)行分析。
2.對(duì)于目標(biāo)預(yù)期和銷售過程數(shù)據(jù),你可能需要在每朵云上添加本地?cái)?shù)據(jù)庫,方便針對(duì)特定目標(biāo)信息進(jìn)行快速交付。
3.針對(duì)安全掃描,你可能需要在Hadoop旁邊部署能實(shí)現(xiàn)告警和單用戶查詢的軟件,并能把結(jié)果信息直接反饋給內(nèi)部管理員。
4.對(duì)于“戰(zhàn)略威脅”數(shù)據(jù),你可能需要在每朵云上建立高效,高容量的本地?cái)?shù)據(jù)庫,并且數(shù)據(jù)庫相互間能跨云聯(lián)合進(jìn)行協(xié)作,可執(zhí)行預(yù)分析。如果可能的話,在威脅抵達(dá)數(shù)據(jù)中心或單位其它部門前,該消息將直接反饋到系統(tǒng),系統(tǒng)對(duì)此自動(dòng)做出回應(yīng)。
5.對(duì)于市場(chǎng)分析,你可能需要云-本地“緩存”的高性能數(shù)據(jù)庫,能幫助過濾數(shù)據(jù)。這樣的話,可以把數(shù)據(jù)壓縮到數(shù)據(jù)倉庫要求的大小,而且可能的話,還能對(duì)數(shù)據(jù)進(jìn)行預(yù)清潔。而現(xiàn)有的像extract,transform,load(ETL)這些工具還無法適應(yīng)新型數(shù)據(jù)的這些要求。
6.對(duì)于研發(fā),你可能需要內(nèi)部且獨(dú)立的分析數(shù)據(jù)庫,同時(shí)要有允許跨云查詢的數(shù)據(jù)聯(lián)合功能。
那么,現(xiàn)在要如何把它與現(xiàn)有架構(gòu)相結(jié)合呢?通常根據(jù)企業(yè)的規(guī)模,解決途徑可劃分為下列兩大陣營(yíng):
1.中小型企業(yè)(SMBs)往往沒有數(shù)據(jù)倉庫,即使有,功能也不齊全。那樣的話,在必要的數(shù)據(jù)倉庫性能開始產(chǎn)生之際,能在云上盡量運(yùn)行的PaaS架構(gòu)是一個(gè)好選擇。
2.大型企業(yè)有著大型主機(jī),小型服務(wù)器群組,數(shù)據(jù)倉庫,數(shù)據(jù)集市,以及架構(gòu)中現(xiàn)有基礎(chǔ)設(shè)施,因此確實(shí)要?jiǎng)?chuàng)建一個(gè)PaaS架構(gòu)。最好采用像IBM公司這樣的現(xiàn)行供應(yīng)商提供的方案,把公共云上的PaaS架構(gòu)與現(xiàn)有商業(yè)智能/分析/數(shù)據(jù)倉庫架構(gòu)相結(jié)合。