為防止大數(shù)據(jù)項目遭遇失敗，引入迭代機制是非常必要的。使用靈活而開放的數(shù)據(jù)基礎設施,保證其允許企業(yè)員工不斷調(diào)整實際方案、直到他們的努力獲得理想的回饋，最終以迭代為武器順利邁向大數(shù)據(jù)有效使用的勝利彼岸。

近年來，大數(shù)據(jù)旋風以“迅雷不及掩耳之勢”席卷全球，不僅是信息領域，經(jīng)濟、政治、社會等諸多領域都“磨刀霍霍”向大數(shù)據(jù)，準備在其中逐得一席之地。然而，很多公司在邁入大數(shù)據(jù)領域后遭遇“滑鐵盧”。在此，本文盤點了一系列大數(shù)據(jù)失敗項目，深究其原因，具有警示意義。

對數(shù)據(jù)過于相信

2008年，Google第一次開始預測流感就取得了很好的效果，比美國疾病預防控制中心提前兩禮拜預測到了流感的爆發(fā)。但是，幾年之后，Google的預測比實際情況(由防控中心根據(jù)全美就診數(shù)據(jù)推算得出)高出了50%。媒體過于渲染了Google的成功，出于好奇目的而搜索相關關鍵詞的人越來越多，從而導致了數(shù)據(jù)的扭曲。

低估大數(shù)據(jù)復雜程度

在美國有幾個互聯(lián)網(wǎng)金融公司專做中小企業(yè)貸款。但是中小企業(yè)貸款涉及的數(shù)據(jù)更復雜，而且中小企業(yè)涉及到整個行業(yè)非常特殊的一些數(shù)據(jù)，比如非標準的財務報表和不同行業(yè)、不同范式的合同，他們沒有很專業(yè)的知識，是很難理解或者很難有時間把它準確挖掘出來。

當時大數(shù)據(jù)團隊想用一個很完美的模型把所有的問題都解決掉，比如把市場和信貸的解決方案全部用一個模型來解決，但因為數(shù)據(jù)的復雜程度，最后證明這種方法是失敗的，而且90%的時間都在做數(shù)據(jù)清理。這就說明，想通過大數(shù)據(jù)技術(shù)一下子解決所有的問題是很難成功的，而是要用抽絲剝繭、循序漸進的方式。

管理層的惰性

某家旅游公司系統(tǒng)通過web日志數(shù)據(jù)的挖掘來提升客戶洞察。結(jié)果證明，用戶在瀏覽網(wǎng)站之后，隨后的消費行為模式與管理層所認為的不一致。當團隊匯報此事時，管理層認為不值一提。但是，該團隊并沒有放棄，并通過嚴密的A/B測試，回擊了管理層的輕視。

這個案例的最終結(jié)果，不是每個CIO都能期盼的。但是，有一點是可以確定的：做好和管理層打交道的準備，讓他們充分理解大數(shù)據(jù)是什么以及相應的價值。

應用場景選擇錯誤

一家保險公司想了解日常習慣和購買生命保險意愿之間的關聯(lián)性。由于隨后覺得習慣太過于寬泛，該公司將調(diào)查范疇限定到是否吸煙上。但是，工作仍然沒有實質(zhì)進展。不到半年，他們就終止了整個項目，因為一直未能發(fā)現(xiàn)任何有價值的信息。

這個項目的失敗是由于問題的復雜性。在抽煙與否之間，該公司沒有注意到還有大片灰色地帶：很多人是先抽煙而后又戒煙了。在將問題簡單化動機的驅(qū)動下，這個部分被忽略了。

問題梳理不夠全面

一家全球性公司的大數(shù)據(jù)團隊發(fā)現(xiàn)了很多深刻的洞察，并且計劃通過云讓全公司共享。結(jié)果這個團隊低估了效率方面的損耗，由于網(wǎng)絡擁塞的問題，無法滿足全球各個分支順暢提交數(shù)據(jù)運行分析的需求。

該公司應該仔細思考下如何支撐大數(shù)據(jù)項目，梳理所需的技能并協(xié)調(diào)各IT分支的力量進行支持。由于網(wǎng)絡、安全或基礎設施的問題，已經(jīng)有太多的大數(shù)據(jù)項目栽了跟頭。

缺乏大數(shù)據(jù)分析技能

一家零售公司的首席執(zhí)行官不認同亞馬遜規(guī)模化、扁平化的服務模式，因此讓CIO構(gòu)建一個客戶推薦引擎。項目最初的規(guī)劃是半年為期，但是團隊很快認識到諸如協(xié)同過濾(collaborative filtering)之類的概念無法實現(xiàn)。為此，一個團隊成員提出做一個“假的推薦引擎”，把床單作為唯一的推薦產(chǎn)品。這個假引擎的工作邏輯是：買攪拌機的人會買床單，買野營書籍的人會買床單，買書的人會買床單。就是如此，床單是唯一的、默認的推薦品。

盡管可笑，這個主意其實并不壞，默認的推薦也能給企業(yè)帶來銷售上的提升。但是，由于大數(shù)據(jù)相關技能的缺失，真正意義上的引擎未能實現(xiàn)。

提出了錯誤的問題

一家全球領先的汽車制造商決定開展一個情感分析項目，為期6個月，耗資1千萬美元。項目結(jié)束之后，該廠商將結(jié)果分享給經(jīng)銷商并試圖改變銷售模式。然后，所得出的結(jié)果最終被證明是錯誤的。項目團隊沒有花足夠的時間去了解經(jīng)銷商所面臨的問題或業(yè)務建議，從而導致相關的分析毫無價值。

應用了錯誤的模型。某銀行為判斷電信行業(yè)的客戶流失情況，從電信業(yè)聘請了一位專家，后者也很快構(gòu)建了評估用戶是否即將流失的模型。當時已進入評測驗證的最后階段，模型很快就將上線，而銀行也開始準備給那些被認為即將流失的客戶發(fā)出信件加以挽留。

但是，為了保險起見，一位內(nèi)部專家被要求對模型進行評估。這位銀行業(yè)專家很快發(fā)現(xiàn)了令人驚奇的事情：不錯，那些客戶的確即將流失，但并不是因為對銀行的服務不滿意。他們之所以轉(zhuǎn)移財產(chǎn)(有時是悄無聲息的)，是因為感情問題——正在為離婚做準備。

可見，了解模型的適用性、數(shù)據(jù)抽象的級別以及模型中隱含的細微差別，這些都是非常具有挑戰(zhàn)性的。

管理層阻力

盡管數(shù)據(jù)當中包含大量重要信息,但Fortune Knowledge公司發(fā)現(xiàn)有62%的企業(yè)領導者仍然傾向于相信自己的直覺,更有61%的受訪者認為領導者的實際洞察力在決策過程中擁有高于數(shù)據(jù)分析結(jié)論的優(yōu)先參考價值。

選擇錯誤的使用方法

企業(yè)往往會犯下兩種錯誤,要么構(gòu)建起一套過分激進、自己根本無法駕馭的大數(shù)據(jù)項目,要么嘗試利用傳統(tǒng)數(shù)據(jù)技術(shù)處理大數(shù)據(jù)問題。無論是哪種情況,都很有可能導致項目陷入困境。

提出錯誤的問題

數(shù)據(jù)科學非常復雜,其中包含專業(yè)知識門類(需要深入了解銀行、零售或者其它行業(yè)的實際業(yè)務狀況);數(shù)學與統(tǒng)計學經(jīng)驗以及編程技能等等。很多企業(yè)所雇用的數(shù)據(jù)科學家只了解數(shù)學與編程方面的知識,卻欠缺最重要的技能組成部分——對相關行業(yè)的了解，因此最好能從企業(yè)內(nèi)部出發(fā)尋找數(shù)據(jù)科學家。

缺乏必要的技能組合

這項理由與“提出錯誤的問題”緊密相關。很多大數(shù)據(jù)項目之所以陷入困境甚至最終失敗,正是因為不具備必要的相關技能。通常負責此類項目的都是IT技術(shù)人員——而他們往往無法向數(shù)據(jù)提出足以指導決策的正確問題。

與企業(yè)戰(zhàn)略存在沖突

要讓大數(shù)據(jù)項目獲得成功,大家必須擺脫將其作為單一“項目”的思路、真正把它當成企業(yè)使用數(shù)據(jù)的核心方式。問題在于,其它部門的價值或者戰(zhàn)略目標有可能在優(yōu)先級方面高于大數(shù)據(jù),這種沖突往往會令我們有力無處使。

大數(shù)據(jù)孤島

大數(shù)據(jù)供應商總愛談論“數(shù)據(jù)湖”或者“數(shù)據(jù)中樞”,但事實上很多企業(yè)建立起來的只能算是“數(shù)據(jù)水坑兒”,各個水坑兒之間存在著明顯的邊界——例如市場營銷數(shù)據(jù)水坑兒與制造數(shù)據(jù)水坑兒等等。需要強調(diào)的是,只有盡量緩和不同部門之間的隔閡并將各方的數(shù)據(jù)流匯總起來,大數(shù)據(jù)才能真正發(fā)揮自身價值。

在大數(shù)據(jù)技術(shù)之外遇到了其它意外狀況。數(shù)據(jù)分析僅僅是大數(shù)據(jù)項目當中的組成部分之一,訪問并處理數(shù)據(jù)的能力同樣重要。除此之外,常常被忽略的因素還有網(wǎng)絡傳輸能力限制與人員培訓等等。

回避問題

有時候我們可以肯定或者懷疑數(shù)據(jù)會迫使自身做出一些原本希望盡量避免的運營舉措,例如制藥行業(yè)之所以如此排斥情感分析機制、是因為他們不希望將不良副作用報告給美國食品藥品管理局并承擔隨之而來的法律責任。

在這份理由清單中,大家可能已經(jīng)發(fā)現(xiàn)了一個共同的主題:無論我們?nèi)绾胃叨汝P注數(shù)據(jù)本身,都會有人為因素介入進來。即使我們努力希望獲取對數(shù)據(jù)的全面控制權(quán),大數(shù)據(jù)處理流程最終還是由人來打理的,其中包括眾多初始決策——例如選擇哪些數(shù)據(jù)進行收集與分析、向分析結(jié)論提出哪些問題等等。

為防止大數(shù)據(jù)項目遭遇失敗，引入迭代機制是非常必要的。使用靈活而開放的數(shù)據(jù)基礎設施,保證其允許企業(yè)員工不斷調(diào)整實際方案、直到他們的努力獲得理想的回饋，最終以迭代為武器順利邁向大數(shù)據(jù)有效使用的勝利彼岸。