預(yù)計(jì)未來(lái)十年，數(shù)字宇宙將以每年約40%的速度增長(zhǎng)，這是個(gè)驚人的數(shù)字，更重要的是，數(shù)字宇宙中囊括了絕大多數(shù)企業(yè)業(yè)務(wù)的數(shù)據(jù)需求。
在這種環(huán)境下，通過(guò)使用數(shù)據(jù)分析提高競(jìng)爭(zhēng)力，企業(yè)需要有能力滿(mǎn)足“信息一代”的需求，這對(duì)企業(yè)來(lái)說(shuō)至關(guān)重要。從幫助預(yù)測(cè)購(gòu)買(mǎi)行為到驅(qū)動(dòng)創(chuàng)新項(xiàng)目以增強(qiáng)客戶(hù)服務(wù)或提高生產(chǎn)力，數(shù)據(jù)湖能整理、存儲(chǔ)并分析海量數(shù)據(jù)，擁有變革業(yè)務(wù)的巨大能量。分析能力正從企業(yè)的“愿望清單”中移除，轉(zhuǎn)而成為必需。
然而，許多組織在早期便遭遇阻力。近半數(shù)(49%)的企業(yè)知道他們能夠從信息和數(shù)據(jù)中獲得更有價(jià)值的洞察，但不知道怎么做。
其中一個(gè)主要原因是，在最佳實(shí)踐和大數(shù)據(jù)項(xiàng)目的業(yè)務(wù)目標(biāo)方面，IT和業(yè)務(wù)線并不總是一致的。雖然一些公司可能在利用基本的數(shù)據(jù)分析進(jìn)行試驗(yàn)(而有些公司甚至還沒(méi)開(kāi)始)，很多還沒(méi)準(zhǔn)備好面對(duì)下一個(gè)階段，進(jìn)入這個(gè)階段，分析將變得復(fù)雜和深入得多。實(shí)際上，現(xiàn)在只有19%的企業(yè)擁有隨時(shí)在線的生產(chǎn)力，并能夠跨組織范圍實(shí)時(shí)運(yùn)營(yíng)。近三分之一的企業(yè)甚至還沒(méi)有開(kāi)始這樣做。
那么，企業(yè)什么時(shí)候應(yīng)該擴(kuò)大規(guī)模，投資數(shù)據(jù)湖？下面四個(gè)信號(hào)可供參考：
1. 運(yùn)營(yíng)復(fù)雜：在一個(gè)“前數(shù)據(jù)湖”環(huán)境中，如果企業(yè)正試圖擴(kuò)大基礎(chǔ)設(shè)施規(guī)模，但沒(méi)有任何額外的全職人工管理支持選項(xiàng)，其數(shù)據(jù)需求就很有可能超過(guò)管理能力。傳統(tǒng)的Tier 1數(shù)據(jù)資源并不總是池化的，這樣就為單一管理者可應(yīng)對(duì)的存儲(chǔ)空間造成了限制，同樣，在構(gòu)建更靈活的通用存儲(chǔ)資源(例如數(shù)據(jù)湖)方面，管理者也面臨難題。
2. 運(yùn)營(yíng)成本：當(dāng)公司發(fā)現(xiàn)，雖然正試圖減少運(yùn)營(yíng)成本，但業(yè)務(wù)對(duì)IT的需求卻在持續(xù)增長(zhǎng)時(shí)，就是時(shí)候該尋求新的辦法了。全職人工也會(huì)帶來(lái)管理IT資源的運(yùn)營(yíng)成本上升。為了有效應(yīng)對(duì)這些需求，企業(yè)或者需要更多人力資源，或者需要投資額外的第三方，支持監(jiān)控、管理、部署和改善系統(tǒng)。與簡(jiǎn)單地增加員工人數(shù)相比，第二種方法擴(kuò)展了一個(gè)數(shù)量級(jí)甚至更多。
3. 生產(chǎn)壓力：另外一個(gè)暗示數(shù)據(jù)湖需求的關(guān)鍵指標(biāo)是，現(xiàn)有的分析應(yīng)用正為業(yè)務(wù)生產(chǎn)系統(tǒng)帶來(lái)壓力。實(shí)時(shí)分析可能是耗費(fèi)大量資源的，無(wú)論是想通過(guò)視頻分析，從大量高清視頻流中獲得洞察，還是研究社交內(nèi)容瀑布流。這些流程是需要專(zhuān)用資源的，這樣，嘗試使用生產(chǎn)系統(tǒng)的用戶(hù)才不會(huì)損失性能。數(shù)據(jù)湖是確保實(shí)時(shí)分析能夠以最佳性能運(yùn)行的關(guān)鍵。
4. 多協(xié)議分析：企業(yè)需要數(shù)據(jù)湖，一個(gè)最終的關(guān)鍵信號(hào)是，數(shù)據(jù)科學(xué)家正在大量不同的Hadoop發(fā)行版上運(yùn)行應(yīng)用，并且，需要將他們的數(shù)據(jù)與Hadoop掛鉤。未來(lái)，隨著各種各樣的分析實(shí)驗(yàn)不斷深入，業(yè)務(wù)線需要IT有能力支持多種協(xié)議。企業(yè)也需要以數(shù)據(jù)湖策略為重要依據(jù)，進(jìn)行整體的合理規(guī)劃。
現(xiàn)在，并不是每家公司都已經(jīng)做好準(zhǔn)備部署數(shù)據(jù)分析，但大多數(shù)會(huì)，至少是需要開(kāi)始計(jì)劃，否則，就會(huì)面臨落后于競(jìng)爭(zhēng)對(duì)手的風(fēng)險(xiǎn)。最終，所有公司都需要擁抱數(shù)據(jù)分析，那些拒絕改變的公司將逐漸褪色，變得默默無(wú)聞。
數(shù)據(jù)湖近在眼前，有人持懷疑的態(tài)度，有人熱情擁抱。懷疑者認(rèn)為，數(shù)據(jù)湖無(wú)非另一種將全部數(shù)據(jù)整合至單一位置的存儲(chǔ)形式，支持者認(rèn)為，數(shù)據(jù)湖不僅預(yù)示著前所未見(jiàn)的存儲(chǔ)效率，還讓分析成為可能，讓每個(gè)組織都可用。
暫且擱置爭(zhēng)議，讓我們看看數(shù)據(jù)湖帶來(lái)的變化，以及這些變化對(duì)今天的世界意味著什么，從IT直至消費(fèi)者。
打破數(shù)據(jù)孤島
長(zhǎng)期以來(lái)，數(shù)據(jù)孤島一直是存儲(chǔ)應(yīng)用的標(biāo)準(zhǔn)，但是這些系統(tǒng)是運(yùn)營(yíng)效率低下的，并且會(huì)限制從相關(guān)數(shù)據(jù)中獲得更佳洞察的能力。
節(jié)約成本也是一大驅(qū)動(dòng)力。除了管理復(fù)雜性，孤島系統(tǒng)還需要多種授權(quán)，服務(wù)器和其他費(fèi)用，而數(shù)據(jù)湖可以經(jīng)濟(jì)高效的方式，由單一基礎(chǔ)設(shè)施提供支持。
隨著分析變得更快速、更復(fù)雜，組織也需要以同樣的方式進(jìn)化，以探索所有可能性。數(shù)據(jù)不再單單是數(shù)據(jù)本身，借助所有組織化數(shù)據(jù)構(gòu)建的完整圖景，分析解釋能夠以前所未有的方式，打開(kāi)新的大門(mén)。
利用實(shí)時(shí)分析
數(shù)據(jù)收集和分析正變得越來(lái)越快。像信用卡欺詐預(yù)警分析、股票分析這樣的應(yīng)用場(chǎng)景，需要在動(dòng)作發(fā)生后數(shù)秒內(nèi)就實(shí)現(xiàn)。不過(guò)，實(shí)時(shí)分析并不都是需要100%立刻馬上就實(shí)現(xiàn)的。一些數(shù)據(jù)(如月銷(xiāo)售數(shù)據(jù)、季度財(cái)務(wù)數(shù)據(jù)或年度員工表現(xiàn)數(shù)據(jù))只需以特定的時(shí)間間隔存儲(chǔ)并分析。組織需要有能力構(gòu)建數(shù)據(jù)湖，為分析提供最大的靈活度。
現(xiàn)在，企業(yè)產(chǎn)生的數(shù)據(jù)比以往任何時(shí)候都更多。這種情況為企業(yè)帶來(lái)了獨(dú)特的問(wèn)題：需要裝備自己分析這些數(shù)據(jù)，而不僅僅是存儲(chǔ)。數(shù)據(jù)湖與Hadoop平臺(tái)一道，提供了增加數(shù)據(jù)價(jià)值所需的自動(dòng)化和透明度。
例如，物聯(lián)網(wǎng)就是一個(gè)產(chǎn)生數(shù)據(jù)的怪獸，同時(shí)，也是一個(gè)持續(xù)不斷追加銷(xiāo)售的機(jī)會(huì)，假設(shè)組織能夠?qū)崟r(shí)提供有吸引力的產(chǎn)品。確實(shí)，廣告主正站在利用數(shù)據(jù)湖獲得消費(fèi)者洞察的趨勢(shì)前沿，在此基礎(chǔ)上，設(shè)法將洞察轉(zhuǎn)化成銷(xiāo)售。
這種情形下，“實(shí)時(shí)”意味著：數(shù)據(jù)湖能夠大幅減少分析的價(jià)值轉(zhuǎn)化時(shí)間，從數(shù)月或數(shù)星期到幾分鐘內(nèi)完成。
新業(yè)務(wù)模式興起
數(shù)據(jù)湖不只是一個(gè)內(nèi)部工具，事實(shí)上，數(shù)據(jù)湖正幫助催生新的業(yè)務(wù)模式，例如分析即服務(wù)(Analytics-as-a-Service)，通過(guò)提供對(duì)數(shù)據(jù)湖的訪問(wèn)權(quán)限，讓用戶(hù)進(jìn)行自服務(wù)分析。
既然分析即服務(wù)不是面向所有用戶(hù)的，那么，它能帶來(lái)什么好處？外包的基礎(chǔ)設(shè)施和自動(dòng)化使分析成本驟降。這意味著公司可以嘗試新東西，并可根據(jù)客戶(hù)獲取和經(jīng)驗(yàn)實(shí)時(shí)調(diào)整，無(wú)需很多預(yù)算。
對(duì)那些正尋求外包服務(wù)的公司來(lái)說(shuō)，有能力存儲(chǔ)、管理并保護(hù)數(shù)據(jù)，作為分析即服務(wù)部分內(nèi)容的服務(wù)供應(yīng)商是一個(gè)有用的途徑。
知識(shí)型員工則帶來(lái)不同的價(jià)值，隨著手動(dòng)操作的部分被移除或顯著減少，基于分析結(jié)果，他們可將精力更多地用于與業(yè)務(wù)單元的戰(zhàn)略性結(jié)合上。對(duì)于早期采用來(lái)說(shuō)，分析即服務(wù)是一個(gè)有效的路徑，在零售、公用事業(yè)、體育俱樂(lè)部等行業(yè)處于領(lǐng)先地位。
顯然，想要開(kāi)始獲得價(jià)值，企業(yè)不一定非得自建數(shù)據(jù)湖。
目前，從整體上看，數(shù)據(jù)湖應(yīng)用尚處于早期階段，但全球化部署正在不斷增長(zhǎng)。對(duì)于那些還在運(yùn)行數(shù)據(jù)孤島的公司來(lái)說(shuō)，或許是時(shí)候該開(kāi)始嘗試實(shí)時(shí)分析了。
京公網(wǎng)安備 11010502049343號(hào)