短短幾年之內(nèi)，大數(shù)據(jù)已經(jīng)徹底改變了企業(yè)運(yùn)營業(yè)務(wù)的方式——但截至目前，我們才剛剛初窺其門徑。隨著企業(yè)開始有意識到收集各類數(shù)據(jù)信息，其亦開始發(fā)現(xiàn)對這部分?jǐn)?shù)據(jù)加以正確利用所能夠帶來的巨大潛力。
一些積極迎接變革的企業(yè)發(fā)現(xiàn)，他們的數(shù)據(jù)實(shí)際上可能正是其掌握的最大資產(chǎn)。除了數(shù)據(jù)本身之外，精明的企業(yè)還能夠通過分析數(shù)據(jù)內(nèi)容以了解并更好地服務(wù)于自身客戶，甚至能夠?qū)⑵渲幸恍╆P(guān)鍵性數(shù)據(jù)出售給合作伙伴及下游廠商以賺取額外利潤。舉例來說，優(yōu)步與Lyft等服務(wù)就能夠非常準(zhǔn)確地把握與客戶出行習(xí)慣相關(guān)的數(shù)據(jù)，并將其交付至Airbnb、VRBO等其它網(wǎng)站。與此同時(shí)，F(xiàn)itbit及其它廠商提供的健身追蹤器亦能夠利用用戶的健康活動(dòng)數(shù)據(jù)實(shí)現(xiàn)巨大價(jià)值。即使是與醫(yī)療衛(wèi)生業(yè)務(wù)毫不沾邊的蘋果公司，也能夠以前所未有的洞察能力審視其原生健康應(yīng)用數(shù)據(jù)。
在理論層面講，如此龐大的數(shù)據(jù)寶庫將能夠?yàn)锽2B及B2C企業(yè)帶來集中且立足實(shí)踐行為的洞察結(jié)論，進(jìn)而以前所未有的方式開啟新的機(jī)遇大門。然而，面對著一系列重大的技術(shù)性與財(cái)務(wù)性障礙，很多企業(yè)實(shí)際上并不清楚自己的下一步大數(shù)據(jù)戰(zhàn)略該走向何處。其已經(jīng)開始在數(shù)據(jù)挖掘領(lǐng)域試水，但尚未制定出一套能夠順利邁進(jìn)的堅(jiān)實(shí)戰(zhàn)略思路。
為何存在挑戰(zhàn)?
截至目前，實(shí)現(xiàn)大數(shù)據(jù)技術(shù)承諾的最大障礙之一在于龐大的資金投入要求。從當(dāng)下的情況來看，最為成功的項(xiàng)目往往需要耗資數(shù)百萬美元，例如沃爾瑪?shù)膶Ｓ脭?shù)據(jù)創(chuàng)新實(shí)驗(yàn)室WalmartLabs。然而，這種項(xiàng)目只適用于那些世界上最為龐大的企業(yè)，其具備極為雄厚的財(cái)力與幾乎無窮無盡的資源。很明顯，這樣的標(biāo)準(zhǔn)對于其它公司而言并不適用，或者說毫無實(shí)現(xiàn)的可能。
為何利用大數(shù)據(jù)技術(shù)會(huì)呈現(xiàn)出如此明確的資源密集型傾向?答案主要分為以下三個(gè)方面：
數(shù)據(jù)的輸入速度極快，且數(shù)據(jù)來源數(shù)量亦急劇增加：移動(dòng)、云應(yīng)用、物聯(lián)網(wǎng)——從用于追蹤庫存與設(shè)備的RF標(biāo)簽到一切接入網(wǎng)絡(luò)的家用電器——當(dāng)然，社交媒體亦是一大不容忽視的實(shí)時(shí)數(shù)據(jù)來源。
此類新型來源幾乎全部在以非結(jié)構(gòu)化或者半結(jié)構(gòu)化格式交付數(shù)據(jù)，這使得傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理方案——即SQL以及幾乎一切現(xiàn)代數(shù)據(jù)庫系統(tǒng)的實(shí)現(xiàn)基礎(chǔ)——毫無用武之地。除了收集及存儲方面的挑戰(zhàn)之外，合規(guī)性要求中的隱私與監(jiān)管要求亦會(huì)帶來新的復(fù)雜性層。不斷發(fā)展的標(biāo)準(zhǔn)要求需要完整團(tuán)隊(duì)配合先進(jìn)的技術(shù)、管理與維護(hù)手段方可實(shí)現(xiàn)。
隨著在數(shù)據(jù)復(fù)雜度的日益提高，用于管理數(shù)據(jù)的具體技術(shù)方案亦變得更難于使用。Hadoop、Kafka、Hive、Drill、Storm、MongoDB以及Cassandra等開源工具外加一系列專有方案共同構(gòu)成了獨(dú)立且相互競爭的方案生態(tài)系統(tǒng)，只有具備深厚的技術(shù)操作知識方可將其真正應(yīng)用在商業(yè)環(huán)境當(dāng)中。事實(shí)上，此類人才資源非常稀缺，大多數(shù)非財(cái)富五百強(qiáng)企業(yè)都無力承擔(dān)由此帶來的高昂開支。
缺失之處何在?
可以看到，絕大多數(shù)企業(yè)僅僅是在努力管理并挖掘自己的存儲數(shù)據(jù)集，而很難實(shí)際利用數(shù)據(jù)中的信息建立自身競爭優(yōu)勢。在實(shí)踐性、實(shí)用性及可行性方面，企業(yè)還無法充分運(yùn)用現(xiàn)有工具發(fā)揮數(shù)據(jù)中的可觀潛能。需要明確的是，目前我們并不缺乏良好的大數(shù)據(jù)工具，事實(shí)上我們?nèi)狈Φ氖钦嬲邆湫逝c有效性的解決方案，這種能夠解決數(shù)據(jù)孤島及高度依賴性難題的手段既匱乏又難于維護(hù)。
為什么?因?yàn)榻刂聊壳埃覀兊闹攸c(diǎn)一直放在整合應(yīng)用程序并建立各類獨(dú)立工具與平臺之間的連接機(jī)制，缺少這種橋梁它們將根本無法協(xié)作。舉例來說，我們需要想辦法對接CROM與ERP，或者將銷售工具與市場營銷自動(dòng)化機(jī)制相整合。
這種應(yīng)用到應(yīng)用型方案的問題在于，其完全忽略了數(shù)據(jù)本身——這意味著數(shù)據(jù)仍然可能以分裂化、孤立化或者碎片化形式存在。即使應(yīng)用程序能夠彼此連接，如果其各自擁有自己的數(shù)據(jù)存儲形式，那么數(shù)據(jù)亦無法實(shí)現(xiàn)通用。這意味著我們將面對大量不完整或者重復(fù)的數(shù)據(jù)記錄，即通常所謂的“臟”數(shù)據(jù)。任何分析方法都無法利用這樣的數(shù)據(jù)素材提供可靠的結(jié)論——因?yàn)閿?shù)據(jù)本身就不夠可靠。
我們該如何解決問題?
為了真正處理大數(shù)據(jù)——同時(shí)利用其實(shí)現(xiàn)洞察分析與業(yè)務(wù)增長，而非單純進(jìn)行數(shù)據(jù)收集——我們需要一套新型方案以專注于數(shù)據(jù)本身，而非應(yīng)用程序。事實(shí)上，相較于應(yīng)用程序級別，立足于數(shù)據(jù)層級解決集成化問題才是實(shí)現(xiàn)大數(shù)據(jù)項(xiàng)目成功的關(guān)鍵所在。
通過將集成與數(shù)據(jù)管理融入單一統(tǒng)一化平臺，我們將能夠構(gòu)建起一套全面、簡潔且具備來源中立性的數(shù)據(jù)湖，企業(yè)可將其作為單一可靠來源基礎(chǔ)，并接受任何源或者分析應(yīng)用的寫入或者讀取訪問。除了敞開大門允許幾乎一切應(yīng)用出于幾乎一切目的以正確方式接入正確數(shù)據(jù)之外，其還能夠顯著提升分析工作的效率、精度與可信度。
iPaaS就是答案?也許言之尚早……
盡管不少從業(yè)者高度提倡將iPaaS(即集成平臺即服務(wù))作為最佳解決方案，但這種自助式方案仍然會(huì)給內(nèi)部團(tuán)隊(duì)帶來沉重的復(fù)雜集成工作負(fù)擔(dān)，而且相當(dāng)一部分企業(yè)根本不具備相關(guān)資源或者由自身IT及業(yè)務(wù)人員管理集成化“管道”的意愿。隨著新型集成化需求的快速涌現(xiàn)，我們很難找到順暢可行的iPaaS方案規(guī)模擴(kuò)展途徑，更不用提由此帶來的合規(guī)性與數(shù)據(jù)治理難題了。為業(yè)務(wù)用戶提供獨(dú)立于IT之外配置集成機(jī)制的能力可能對安全性及合規(guī)性造成危害，亦可能無意中導(dǎo)致企業(yè)遭遇信息泄露進(jìn)而受到懲罰，同時(shí)此類未受IT集成策略支持的一次性實(shí)施工作還可能造成設(shè)計(jì)中需要盡可能避免的數(shù)據(jù)孤島問題。
最后，盡管實(shí)現(xiàn)過程較為簡單，但其在成本與可擴(kuò)展能力方面存在嚴(yán)重局限。利用iPaaS，我們將很難為未來的發(fā)展做好打算; 在本質(zhì)上，這只是一種臨時(shí)性解決辦法，且必須反復(fù)調(diào)整以適應(yīng)需求增長與變化。
理想的解決方案：dPaaS真正實(shí)現(xiàn)大數(shù)據(jù)成功
值得慶幸的是，目前已經(jīng)出現(xiàn)了一種全新的大數(shù)據(jù)管理與集成方法，且適用于任何規(guī)模的企業(yè)，并可通過高效、可管理且可擴(kuò)展的方式對大數(shù)據(jù)資源加以運(yùn)用。
數(shù)據(jù)平臺即服務(wù)，簡稱dPaaS，是一套統(tǒng)一化多租戶云平臺，可通過更為靈活且以數(shù)據(jù)為中心的應(yīng)用中立性方式提供集成與數(shù)據(jù)管理托管服務(wù)，從而滿足幾乎一切與大數(shù)據(jù)相關(guān)的需求。相較于專注于集成應(yīng)用程序，dPaaS專門負(fù)責(zé)集成數(shù)據(jù)，確保跨應(yīng)用數(shù)據(jù)湖讀取或?qū)懭氩僮鞯暮啙嵭浴①|(zhì)量、可訪問性以及合規(guī)性。
利用dPaaS，企業(yè)能夠徹底告別數(shù)據(jù)孤島及復(fù)雜性乃至高成本集成項(xiàng)目，真正隨時(shí)擁抱新型應(yīng)用、從堅(jiān)實(shí)的數(shù)據(jù)存儲庫內(nèi)提取信息并保持完整的數(shù)據(jù)生命周期內(nèi)可視性——且享受各類內(nèi)置合規(guī)性與治理能力。
下面來看其中的幾項(xiàng)核心功能。
統(tǒng)一化數(shù)據(jù)管理
利用dPaaS，企業(yè)的整體數(shù)據(jù)存儲庫可被管理為單一全面存儲集合。不同于iPaaS與應(yīng)用到應(yīng)用類集成方案所導(dǎo)致的數(shù)據(jù)孤島、不匹配字段、缺失值、重復(fù)記錄以及其它“臟”數(shù)據(jù)問題，dPaaS能夠保持?jǐn)?shù)據(jù)獨(dú)立于應(yīng)用程序之外。其創(chuàng)建并維持一套無模式中央存儲庫，同時(shí)包含指向幾乎一切數(shù)據(jù)源的元數(shù)據(jù)關(guān)系，這意味著企業(yè)能夠輕松地隨時(shí)添加新型應(yīng)用并繼續(xù)保持其數(shù)據(jù)的簡潔性、綜合性與準(zhǔn)確性。
內(nèi)置合規(guī)性
保持對不斷演變的合規(guī)性要求的持續(xù)遵循正變得愈發(fā)困難且成本高昂，這意味著我們需要投入大量資源與時(shí)間進(jìn)行審計(jì)及重新認(rèn)證。然而利用dPaaS，合規(guī)性能夠立足數(shù)據(jù)層得到保障，這意味著由相關(guān)平臺供應(yīng)商負(fù)責(zé)對基礎(chǔ)設(shè)施進(jìn)行持續(xù)認(rèn)證維護(hù)，從而確保以全面而非零散的方式進(jìn)行監(jiān)管遵循。具體來講，dPaaS會(huì)將大部分合規(guī)性負(fù)擔(dān)轉(zhuǎn)移給供應(yīng)商，從而更好地保障閑置與活動(dòng)數(shù)據(jù)與合規(guī)要求相符。
卓越中心
dPaaS能夠構(gòu)建起一套集成卓越中心(簡稱COE)，甚至使得中小型企業(yè)能夠利用來自供應(yīng)商的資源、知識、流程、工具乃至人才實(shí)現(xiàn)出色的效率并解決更為復(fù)雜的業(yè)務(wù)流程及挑戰(zhàn)。構(gòu)建內(nèi)部卓越中心過去需要規(guī)模龐大的團(tuán)隊(duì)方可實(shí)現(xiàn)，但如今dPaaS能夠?qū)⒆吭街行淖鳛橐环N常態(tài)。平臺供應(yīng)商負(fù)責(zé)提供專業(yè)人員、資源及工具，這意味著幾乎任何規(guī)模的企業(yè)皆可利用這一綜合性集成卓越中心享受到前沿技術(shù)與服務(wù)。
管理服務(wù)
與自助性iPaaS解決方案不同，dPaaS能夠?qū)⒋蟛糠旨蓮?fù)雜性轉(zhuǎn)移至平臺供應(yīng)商處，由后者負(fù)責(zé)處理ETL及其它用于構(gòu)成集成基礎(chǔ)的“管道”流程。這不僅能夠讓企業(yè)擁有更出色的成本效益水平，同時(shí)亦可簡化最新技術(shù)的獲取方式，幫助客戶保持明確的市場競爭優(yōu)勢。這意味著企業(yè)客戶能夠?qū)⒏鄡?nèi)部人員及預(yù)算投入到戰(zhàn)略性項(xiàng)目當(dāng)中，進(jìn)而有力推動(dòng)營收增長并強(qiáng)化企業(yè)的核心業(yè)務(wù)。
dPaaS的光明未來
憑借著全面的統(tǒng)一化數(shù)據(jù)集成與管理方案，dPaaS已經(jīng)顯示出光明的發(fā)展前景，足以幫助客戶擺脫過去粗放的數(shù)據(jù)挖掘工作，真正邁入大數(shù)據(jù)利用階段。而由此提供的全部工具及專業(yè)知識——以及未來發(fā)展路線圖——都將幫助企業(yè)以更加高效、有效且具備成本效益的方式建立并推動(dòng)大數(shù)據(jù)項(xiàng)目。
相較于浪費(fèi)時(shí)間與精力“重新發(fā)明輪子”，企業(yè)應(yīng)當(dāng)利用dPaaS幫助自身建立競爭優(yōu)勢，同時(shí)更為準(zhǔn)確地獲取并保持市場領(lǐng)先性。
原文標(biāo)題：What’s Next for Big Data?，原文作者：Rob Consoli
京公網(wǎng)安備 11010502049343號