摘要：預(yù)計未來十年，數(shù)字宇宙將以每年約40%的速度增長，這是個驚人的數(shù)字，更重要的是，數(shù)字宇宙中囊括了絕大多數(shù)企業(yè)業(yè)務(wù)的數(shù)據(jù)需求。在這種環(huán)境下，通過使用數(shù)據(jù)分析提高競爭力，企業(yè)需要有能力滿足“信息一代”的需求，這對企業(yè)來說至關(guān)重要。從幫助預(yù)測購買行為到驅(qū)動創(chuàng)新項目以增強客戶服務(wù)或提高生產(chǎn)力，數(shù)據(jù)湖能整理、存儲并分析海量數(shù)據(jù)，擁有變革業(yè)務(wù)的巨大能量。分析能力正從企業(yè)的“愿望清單”中移除，轉(zhuǎn)而成為必需。
在這種環(huán)境下，通過使用數(shù)據(jù)分析提高競爭力，企業(yè)需要有能力滿足“信息一代”的需求，這對企業(yè)來說至關(guān)重要。從幫助預(yù)測購買行為到驅(qū)動創(chuàng)新項目以增強客戶服務(wù)或提高生產(chǎn)力，數(shù)據(jù)湖能整理、存儲并分析海量數(shù)據(jù)，擁有變革業(yè)務(wù)的巨大能量。分析能力正從企業(yè)的“愿望清單”中移除，轉(zhuǎn)而成為必需。
然而，許多組織在早期便遭遇阻力。近半數(shù)(49%)的企業(yè)知道他們能夠從信息和數(shù)據(jù)中獲得更有價值的洞察，但不知道怎么做。
其中一個主要原因是，在最佳實踐和大數(shù)據(jù)項目的業(yè)務(wù)目標方面，IT和業(yè)務(wù)線并不總是一致的。雖然一些公司可能在利用基本的數(shù)據(jù)分析進行試驗(而有些公司甚至還沒開始)，很多還沒準備好面對下一個階段，進入這個階段，分析將變得復(fù)雜和深入得多。實際上，現(xiàn)在，只有19%的企業(yè)擁有隨時在線的生產(chǎn)力，并能夠跨組織范圍實時運營。近三分之一的企業(yè)甚至還沒有開始這樣做。
那么，企業(yè)什么時候應(yīng)該擴大規(guī)模，投資數(shù)據(jù)湖?下面四個信號可供參考：
1.運營復(fù)雜：在一個“前數(shù)據(jù)湖”環(huán)境中，如果企業(yè)正試圖擴大基礎(chǔ)設(shè)施規(guī)模，但沒有任何額外的全職人工管理支持選項，其數(shù)據(jù)需求就很有可能超過管理能力。傳統(tǒng)的Tier 1數(shù)據(jù)資源并不總是池化的，這樣就為單一管理者可應(yīng)對的存儲空間造成了限制，同樣，在構(gòu)建更靈活的通用存儲資源(例如數(shù)據(jù)湖)方面，管理者也面臨難題。
2.運營成本：當公司發(fā)現(xiàn)，雖然正試圖減少運營成本，但業(yè)務(wù)對IT的需求卻在持續(xù)增長時，就是時候該尋求新的辦法了。全職人工也會帶來管理IT資源的運營成本上升。為了有效應(yīng)對這些需求，企業(yè)或者需要更多人力資源，或者需要投資額外的第三方，支持監(jiān)控、管理、部署和改善系統(tǒng)。與簡單地增加員工人數(shù)相比，第二種方法擴展了一個數(shù)量級甚至更多。
3.生產(chǎn)壓力：另外一個暗示數(shù)據(jù)湖需求的關(guān)鍵指標是，現(xiàn)有的分析應(yīng)用正為業(yè)務(wù)生產(chǎn)系統(tǒng)帶來壓力。實時分析可能是耗費大量資源的，無論是想通過視頻分析，從大量高清視頻流中獲得洞察，還是研究社交內(nèi)容瀑布流。這些流程是需要專用資源的，這樣，嘗試使用生產(chǎn)系統(tǒng)的用戶才不會損失性能。數(shù)據(jù)湖是確保實時分析能夠以最佳性能運行的關(guān)鍵。
4.多協(xié)議分析：企業(yè)需要數(shù)據(jù)湖，一個最終的關(guān)鍵信號是，數(shù)據(jù)科學(xué)家正在大量不同的Hadoop發(fā)行版上運行應(yīng)用，并且，需要將他們的數(shù)據(jù)與Hadoop掛鉤。未來，隨著各種各樣的分析實驗不斷深入，業(yè)務(wù)線需要IT有能力支持多種協(xié)議。企業(yè)也需要以數(shù)據(jù)湖策略為重要依據(jù)，進行整體的合理規(guī)劃。
現(xiàn)在，并不是每家公司都已經(jīng)做好準備部署數(shù)據(jù)分析，但大多數(shù)會，至少是需要開始計劃，否則，就會面臨落后于競爭對手的風(fēng)險。最終，所有公司都需要擁抱數(shù)據(jù)分析，那些拒絕改變的公司將逐漸褪色，變得默默無聞。
數(shù)據(jù)湖近在眼前，有人持懷疑的態(tài)度，有人熱情擁抱。懷疑者認為，數(shù)據(jù)湖無非另一種將全部數(shù)據(jù)整合至單一位置的存儲形式，支持者認為，數(shù)據(jù)湖不僅預(yù)示著前所未見的存儲效率，還讓分析成為可能，讓每個組織都可用。
暫且擱置爭議，讓我們看看數(shù)據(jù)湖帶來的變化，以及這些變化對今天的世界意味著什么，從IT直至消費者。
打破數(shù)據(jù)孤島
長期以來，數(shù)據(jù)孤島一直是存儲應(yīng)用的標準，但是這些系統(tǒng)是運營效率低下的，并且會限制從相關(guān)數(shù)據(jù)中獲得更佳洞察的能力。
節(jié)約成本也是一大驅(qū)動力。除了管理復(fù)雜性，孤島系統(tǒng)還需要多種授權(quán)，服務(wù)器和其他費用，而數(shù)據(jù)湖可以經(jīng)濟高效的方式，由單一基礎(chǔ)設(shè)施提供支持。
隨著分析變得更快速、更復(fù)雜，組織也需要以同樣的方式進化，以探索所有可能性。數(shù)據(jù)不再單單是數(shù)據(jù)本身，借助所有組織化數(shù)據(jù)構(gòu)建的完整圖景，分析解釋能夠以前所未有的方式，打開新的大門。
利用實時分析
數(shù)據(jù)收集和分析正變得越來越快。像信用卡欺詐預(yù)警分析、股票分析這樣的應(yīng)用場景，需要在動作發(fā)生后數(shù)秒內(nèi)就實現(xiàn)。不過，實時分析并不都是需要100%立刻馬上就實現(xiàn)的。一些數(shù)據(jù)(如月銷售數(shù)據(jù)、季度財務(wù)數(shù)據(jù)或年度員工表現(xiàn)數(shù)據(jù))只需以特定的時間間隔存儲并分析。組織需要有能力構(gòu)建數(shù)據(jù)湖，為分析提供最大的靈活度。
現(xiàn)在，企業(yè)產(chǎn)生的數(shù)據(jù)比以往任何時候都更多。這種情況為企業(yè)帶來了獨特的問題：需要裝備自己分析這些數(shù)據(jù)，而不僅僅是存儲。數(shù)據(jù)湖與Hadoop平臺一道，提供了增加數(shù)據(jù)價值所需的自動化和透明度。
例如，物聯(lián)網(wǎng)就是一個產(chǎn)生數(shù)據(jù)的怪獸，同時，也是一個持續(xù)不斷追加銷售的機會，假設(shè)組織能夠?qū)崟r提供有吸引力的產(chǎn)品。確實，廣告主正站在利用數(shù)據(jù)湖獲得消費者洞察的趨勢前沿，在此基礎(chǔ)上，設(shè)法將洞察轉(zhuǎn)化成銷售。
這種情形下，“實時”意味著：數(shù)據(jù)湖能夠大幅減少分析的價值轉(zhuǎn)化時間，從數(shù)月或數(shù)星期到幾分鐘內(nèi)完成。
新業(yè)務(wù)模式興起
數(shù)據(jù)湖不只是一個內(nèi)部工具，事實上，數(shù)據(jù)湖正幫助催生新的業(yè)務(wù)模式，例如分析即服務(wù)(Analytics-as-a-Service)，通過提供對數(shù)據(jù)湖的訪問權(quán)限，讓用戶進行自服務(wù)分析。
既然分析即服務(wù)不是面向所有用戶的，那么，它能帶來什么好處?外包的基礎(chǔ)設(shè)施和自動化使分析成本驟降。這意味著公司可以嘗試新東西，并可根據(jù)客戶獲取和經(jīng)驗實時調(diào)整，無需很多預(yù)算。
對那些正尋求外包服務(wù)的公司來說，有能力存儲、管理并保護數(shù)據(jù)，作為分析即服務(wù)部分內(nèi)容的服務(wù)供應(yīng)商是一個有用的途徑。
知識型員工則帶來不同的價值，隨著手動操作的部分被移除或顯著減少，基于分析結(jié)果，他們可將精力更多地用于與業(yè)務(wù)單元的戰(zhàn)略性結(jié)合上。對于早期采用來說，分析即服務(wù)是一個有效的路徑，在零售、公用事業(yè)、體育俱樂部等行業(yè)處于領(lǐng)先地位。
顯然，想要開始獲得價值，企業(yè)不一定非得自建數(shù)據(jù)湖?！ ?/p>
目前，從整體上看，數(shù)據(jù)湖應(yīng)用尚處于早期階段，但全球化部署正在不斷增長。對于那些還在運行數(shù)據(jù)孤島的公司來說，或許是時候該開始嘗試實時分析了。
京公網(wǎng)安備 11010502049343號