不久前的八月中旬,在由Gartner主辦的Catalyst大會上,一場關(guān)于引發(fā)大數(shù)據(jù)項目失敗的原因分析的研討會引發(fā)了大量企業(yè)的IT領(lǐng)導(dǎo)人的積極參與。畢竟,IT領(lǐng)導(dǎo)人都想要避免犯同樣的錯誤。
一直以來,關(guān)于大數(shù)據(jù)分析項目的最佳實踐方案都不是一項簡簡單單的事情。這就是為什么來自思科系統(tǒng)的IT工程師Karen Liu會對Gartner公司的研究總監(jiān)Svetlana Sicular在Gartner的Catalyst大會上所作的題為《關(guān)于大數(shù)據(jù)項目失敗的七大教訓(xùn)》的演講極其關(guān)注的原因了。
Liu說:“我們正處于一個開始階段,我們希望能夠?qū)W習(xí)并了解其他企業(yè)是如何做的——有什么是最好的方案值得我們學(xué)習(xí)和參考。而所有的失敗經(jīng)驗教訓(xùn),無疑都是我們需要注意的事情。”
在這方面,Liu并不是唯一一個有如此想法的人。位于北卡羅來納州夏洛特Family Dollar Stores Inc.公司最近剛剛被Dollar Tree Inc.公司所收購。該公司的企業(yè)架構(gòu)總監(jiān)David Kropman先生基于同樣的原因參加了此次大會。他表示說:“我所在的企業(yè)才剛開啟大數(shù)據(jù)項目之旅。我們正在試圖努力尋求找到恰當(dāng)?shù)陌咐⑴Υ_保不要犯下其他公司曾經(jīng)犯過的同樣的錯誤。”
Sicular在會上的演講給Kropman和Liu帶來了相當(dāng)多的干貨信息,使得他們能夠帶回去給自己的團隊,讓他們可以開始大膽的部署和實施自己企業(yè)的大數(shù)據(jù)分析項目計劃——并希望盡量避免別人曾經(jīng)犯過的失誤。有這樣的一句教訓(xùn):“大數(shù)據(jù)項目的失敗絕不會僅僅是因為某個單一原因造成的。”Sicular說。 “大數(shù)據(jù)項目的失敗,肯定是源于多種原因綜合所造成的。”
Sicular將導(dǎo)致大數(shù)據(jù)項目失敗的七個教訓(xùn)大致分為以下三類:戰(zhàn)略層面、技術(shù)層面和分析層面。如下將分別詳述:
戰(zhàn)略失誤
1、組織慣性。一家成功的旅游物流公司通過對網(wǎng)絡(luò)日志數(shù)據(jù)的分析挖掘獲得了大量關(guān)于客戶行為的有價值的信息:他們發(fā)現(xiàn),客戶訪問和瀏覽他們網(wǎng)站并進行相關(guān)采購的行為是與管理假設(shè)相矛盾的。當(dāng)該團隊的成員試圖解釋這一點時,管理層告訴他們先做別的事情。但該團隊并沒有放棄。“他們積極的想出了如何運行一套A / B測試。最后的結(jié)果是:他們成功地炒掉了他們的管理層。”Sicular說。
當(dāng)然這一最終結(jié)果并不是每一位CIO的現(xiàn)實的目標(biāo),但其所帶來的教訓(xùn)是:幫助企業(yè)管理層做好準(zhǔn)備,并幫助他們理解大數(shù)據(jù)分析項目的意義及其價值。對于CIO們的建議是什么?不要過度專注于一個項目的失敗,汲取教訓(xùn),重新開始,Sicular說。
2、選擇了錯誤的使用案例。一家保險公司要調(diào)查潛在客戶的好/壞生活習(xí)慣與購買人壽保險傾向之間的關(guān)系。很快,該公司意識到進行“習(xí)慣”調(diào)研太過籠統(tǒng),他們只關(guān)注吸煙者與不吸煙者,但這種調(diào)研方式是不奏效的。一年半后,他們關(guān)閉了這個項目,因為他們沒有從中找到任何有價值的東西。” Sicular說。
在這種情況下的大數(shù)據(jù)項目失敗,是由于該問題本身的復(fù)雜性。有一個很大的灰色地帶該保險公司沒有進行充分考慮:即那些開始抽煙后來又戒煙的人。這樣一個細(xì)微的差別很可能是因為被忽略了,簡單地說,“他們并不是專業(yè)醫(yī)護人員。”Sicular說。她提醒與會者,務(wù)必要優(yōu)先精選他們的使用案例,然后再來逐漸增加他們所要試圖解決的問題的復(fù)雜性。
技術(shù)失敗
3、無力應(yīng)對意料之外的困難。一家全球性公司有一組大數(shù)據(jù)團隊,他們從大數(shù)據(jù)項目分析中獲得了較為深刻的見解,并希望能夠在整個企業(yè)范圍實施大規(guī)模推廣。“因此,他們決定將該項目部署在云中。”Sicular說。
她說,這可能是有問題的,因為一個項目的執(zhí)行是在控制之下的,而概念驗證的環(huán)境并不一定會轉(zhuǎn)移到生產(chǎn)環(huán)境。“他們失算了,其會逐漸慢慢的失敗,因為網(wǎng)絡(luò)擁塞不允許世界各地不同地點的人們訪問這個有價值的分析。”她說。
該公司需要考慮如何支持大數(shù)據(jù)和大數(shù)據(jù)分析,這需要大量的技能和跨IT功能的支持。“我簡直無法估計有多少大數(shù)據(jù)項目的失敗是因為網(wǎng)絡(luò)、安全或設(shè)施等原因。”Sicular說。“企業(yè)需要找出誰應(yīng)該參入您的大數(shù)據(jù)項目團隊,以及誰能告訴您如何驗證您的結(jié)果。”
4、缺乏大數(shù)據(jù)分析技能。一家零售企業(yè)的首席執(zhí)行官不想被“亞馬遜化”,所以他要求他的CIO來構(gòu)建一款自定義的推薦引擎。執(zhí)行團隊承諾其會在六個月內(nèi)開發(fā)出一款自定義的推薦引擎,但該團隊很快意識到諸如協(xié)同過濾等概念是如此的遙不可及,這促使該團隊成員建議開發(fā)一款“假推薦引擎”,將某一款床單作為唯一推薦產(chǎn)品,Sicular說。
該引擎的工作會是這樣的:“那些購買了攪拌機的客戶會被推薦購買床單;購買登山徒步旅行書籍的客戶也會被推薦購買床單;購買其他書籍的客戶也會被推薦購買床單。” Sicular說,床單將作為每位客戶的默認(rèn)的推薦。
這并不是一個壞主意,默認(rèn)的推薦讓該公司的銷售額扶搖直上,但該公司無法構(gòu)建一款真正的推薦引擎的原因是由于缺乏大數(shù)據(jù)技能。這需要很長時間才能建立起來,Sicular說。好消息是企業(yè)對于大數(shù)據(jù)的采用已經(jīng)步入了初步階段,而對于這些階段的了解可以幫助CIO們做好準(zhǔn)備。相應(yīng)的階段如下:
企業(yè)高層管理人員的支持。
一項大數(shù)據(jù)戰(zhàn)略計劃。
實驗,其中包括試驗和錯誤,然后大數(shù)據(jù)項目開始。
一個實施和完善的過程。(Sicular稱此為戰(zhàn)術(shù)階段。)
項目投資回報率得以實現(xiàn);該公司了解了大數(shù)據(jù)的價值。Sicular稱此為戰(zhàn)略階段。
技術(shù)領(lǐng)先的公司開始建造定制化的數(shù)據(jù)產(chǎn)品。Sicular稱此為轉(zhuǎn)型期。
失敗分析
5、不要扭曲了數(shù)據(jù)。當(dāng)谷歌在2008年開始預(yù)測流感趨勢時,這家互聯(lián)網(wǎng)搜索巨頭開始變得強大,該公司對于流感疫情的預(yù)測較之美國疾病控制和預(yù)防中心提前了2周。但幾年后,谷歌高估了50%的就診量。“媒體宣傳了太多關(guān)于谷歌的成功,導(dǎo)致人們開始搜索谷歌流感趨勢的成功,而不是搜索流感本身。”Sicular說。“這扭曲了數(shù)據(jù)。”
一旦企業(yè)的CIO們掌握了數(shù)據(jù),他們需要堅持從不同的角度進行考察。“您需要明白數(shù)據(jù)的來源;您需要了解如何驗證這些數(shù)據(jù),您需要的是無序的數(shù)據(jù)還是您想有一些前期的控制。” Sicular說。
6、未能提出正確的問題。一家長世界各地均有經(jīng)銷商的汽車制造商決定開啟一項情感分析項目,該項目花了六個月,耗資1000萬美元。當(dāng)結(jié)果出來后,該汽車制造商與經(jīng)銷商們聯(lián)系,分享他們認(rèn)為的將改變汽車銷售的新見解。但他們的新見解竟然是錯誤的。
“該汽車制造商并沒有花時間去咨詢經(jīng)銷商們相關(guān)的問題:經(jīng)銷商將如何從中受益。”Sicular說,這使得該大數(shù)據(jù)項目變得一文不值。
她將這種情況稱為“滿意度”,這是一個決策管理的術(shù)語,意味著解決好就夠了。“企業(yè)需要花時間以了解和分析您所提出的問題,以及這個問題對于您企業(yè)的商業(yè)利益是怎樣的。” Sicular說。
7、運用了錯誤的模型。一家銀行的博士開始轉(zhuǎn)向其他行業(yè)來看待大數(shù)據(jù)的成功,以期待銀行業(yè)界是否可以從其他行業(yè)借鑒相關(guān)的想法。他在電信行業(yè)發(fā)現(xiàn)了:預(yù)測和防止客戶流失的模型。
這家銀行聘請了來自電信行業(yè)的專家予以幫助,而這位專家很快就發(fā)現(xiàn)了一個清晰的客戶模式。“通過概念論證結(jié)束后,他們準(zhǔn)備了一個試點。”Sicular說。在試點項目開始之前,該銀行打印并發(fā)送給客戶信件,要求他們不要離開。但首先,該銀行要求其自己的業(yè)務(wù)專家來查看數(shù)據(jù),以確認(rèn)該模式。
業(yè)務(wù)專家發(fā)現(xiàn)了一些令人吃驚的事情:是的,人們正計劃離開該銀行,但并不是因為他們不滿銀行的服務(wù),Sicular說。因為這些都是正在策劃與配偶離婚的客戶,所以他們有的都在悄悄的轉(zhuǎn)移資產(chǎn)。“這是關(guān)于愛,而不是錢的問題。”Sicular說。
了解選擇并采用正確的模型是相當(dāng)重要的,而數(shù)據(jù)的抽象與模型的細(xì)微差別是非常具有挑戰(zhàn)性的。”她說。“這是大數(shù)據(jù)分析的關(guān)鍵之一。”當(dāng)談到大數(shù)據(jù)項目時,CIO們的倫理道德也是相當(dāng)重要的。