隨著企業(yè)努力在數(shù)字時(shí)代完全采用數(shù)據(jù)驅(qū)動(dòng),生態(tài)系統(tǒng)正在發(fā)生重大轉(zhuǎn)變。由于企業(yè)應(yīng)用程序生成數(shù)據(jù)成為一種趨勢(shì)和潮流,收集數(shù)據(jù)的洞察力變得越來(lái)越復(fù)雜。
此外,數(shù)十億用戶和數(shù)萬(wàn)億連接的物聯(lián)網(wǎng)設(shè)備在企業(yè)外部產(chǎn)生指數(shù)級(jí)更多的數(shù)據(jù)。企業(yè)部署云計(jì)算,移動(dòng)和分析技術(shù),希望將這些數(shù)據(jù)轉(zhuǎn)化為洞察力。然而根據(jù)調(diào)配機(jī)構(gòu)Gartner預(yù)測(cè),2017年將有60%的大數(shù)據(jù)項(xiàng)目失敗。他們不會(huì)超越試驗(yàn)階段,最終將會(huì)放棄。
企業(yè)在將數(shù)據(jù)資產(chǎn)鏈接到戰(zhàn)略價(jià)值之間發(fā)生了什么脫節(jié)?根據(jù)專家的經(jīng)驗(yàn),主要是有工作人員缺乏技能或?qū)I(yè)知識(shí),以及技術(shù)戰(zhàn)略與整體公司需求之間的不匹配這兩個(gè)主要障礙。
專業(yè)知識(shí)的差距
當(dāng)大數(shù)據(jù)處于起步階段時(shí),當(dāng)時(shí)可用的技術(shù)并不成熟。谷歌,雅虎和Facebook等擁有非常深厚技術(shù)底蘊(yùn)的企業(yè)不得不從根本上建立基礎(chǔ)設(shè)施來(lái)處理這些問(wèn)題。由于這些公司取得了成功,許多企業(yè)試圖用他們自己的基于Hadoop的大數(shù)據(jù)項(xiàng)目來(lái)效仿他們。
從那里,IT和數(shù)據(jù)專業(yè)人員對(duì)Hadoop作為一個(gè)技術(shù)工具包可能做什么,以及對(duì)產(chǎn)生結(jié)果需要多少精力和資源有著不當(dāng)?shù)钠谕artner公司的一項(xiàng)調(diào)查發(fā)現(xiàn),49%的受訪者引用“確定如何從Hadoop獲取價(jià)值”作為是否采納的關(guān)鍵抑制因素。大多數(shù)企業(yè)缺乏部署這種技術(shù)的技能。而具有諷刺意味的是,他們不需要這樣的規(guī)模。
大數(shù)據(jù)已經(jīng)變得過(guò)于依賴于技術(shù)。許多大數(shù)據(jù)項(xiàng)目失敗,是因?yàn)樗鼈冃枰罅康那捌谫Y源,并且部署剛性架構(gòu),一旦項(xiàng)目進(jìn)行之后,卻沒(méi)有提高靈活性。
一個(gè)成功的大數(shù)據(jù)項(xiàng)目是從對(duì)想要解決的業(yè)務(wù)問(wèn)題和想要獲得的價(jià)值的深刻理解開(kāi)始的。如果沒(méi)有,無(wú)論企業(yè)達(dá)到什么目標(biāo),項(xiàng)目將無(wú)法達(dá)到預(yù)期或提供足夠的投資回報(bào)率,可能會(huì)失敗或取消。
下一個(gè)關(guān)鍵要素是建立一個(gè)團(tuán)隊(duì),將IT,數(shù)據(jù)科學(xué)和業(yè)務(wù)線的視角結(jié)合在一起。業(yè)務(wù)專家可以通過(guò)數(shù)據(jù)計(jì)劃確定需要解決的主要業(yè)務(wù)挑戰(zhàn)。IT專家可以提供訪問(wèn)數(shù)據(jù)的技能,并精確定位執(zhí)行項(xiàng)目所需的適當(dāng)基礎(chǔ)設(shè)施。最后,數(shù)據(jù)專家可以提供分析和提取洞察所需的數(shù)學(xué)和定量技能。這對(duì)于圍繞這些技能建立團(tuán)隊(duì)的項(xiàng)目的成功至關(guān)重要。
第三個(gè)元素是短時(shí)間值(TtV)。一個(gè)團(tuán)隊(duì)成立越快,并產(chǎn)生具體和可衡量的價(jià)值,就越容易讓組織和高級(jí)管理層在這個(gè)空間繼續(xù)投資,以避免失敗或取消。
大多數(shù)基于Hadoop的項(xiàng)目都在這三個(gè)方面失敗。項(xiàng)目太過(guò)專注技術(shù)工作。此外,難以找到足夠技能的人才,并且需要太多的時(shí)間和精力來(lái)建立基礎(chǔ)設(shè)施。最后,初始投資太高,實(shí)施時(shí)間太長(zhǎng),使得很難快速實(shí)驗(yàn)和迭代成功。
采用更好的方法
隨著企業(yè)通過(guò)大數(shù)據(jù)項(xiàng)目工作,我專家看到的一個(gè)趨勢(shì)是采用基于云計(jì)算的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖解決方案作為Hadoop項(xiàng)目的替代品。企業(yè)已經(jīng)開(kāi)始進(jìn)行這樣的努力,這將更容易和更快從云計(jì)算中獲得價(jià)值,而不是在基礎(chǔ)設(shè)施建設(shè)上投資。正確的云計(jì)算解決方案避免了重大的前期資本支出,提供輕松和成本有效的擴(kuò)展,并以高度管理的解決方案的形式將技術(shù)負(fù)擔(dān)轉(zhuǎn)移給技術(shù)供應(yīng)商。
專家建議,如果企業(yè)沒(méi)有內(nèi)部的經(jīng)驗(yàn)和技能,可以建設(shè)在云中,并避開(kāi)廣泛和成本高昂的基礎(chǔ)設(shè)施。
2017年將是人們開(kāi)始遠(yuǎn)離Hadoop的一年。人們將看到從大數(shù)據(jù)的魅力和理想化的概念轉(zhuǎn)變?yōu)楦鼘?shí)用和有效的用例。人們期望半結(jié)構(gòu)化數(shù)據(jù)和機(jī)器學(xué)習(xí)將繼續(xù)推動(dòng)大數(shù)據(jù)的需求,并且在這些領(lǐng)域擁有專業(yè)知識(shí)將至關(guān)重要。對(duì)于企業(yè)來(lái)說(shuō),最終要成功,他們需要明確的商業(yè)挑戰(zhàn)來(lái)解決,他們必須經(jīng)歷失敗早期,從小到大的過(guò)程。他們應(yīng)該在過(guò)度投資不必要的架構(gòu)之前探索采用云計(jì)算。