大數據和分析項目可以是顛覆性的，它會使你具有洞察力來超越競爭對手，創造新的收入來源，更好地為客戶服務。

 

大數據和分析項目也可能導致巨大的失敗，導致浪費大量的資金和時間，更不用說會失去那些有才華的技術人才，他們對管理層犯得錯誤感到失望和厭煩。

 

如何避免大數據項目的失敗呢?從基本業務管理的角度來看，有一些最佳做法值得推薦：一定要獲得公司最高管理層的支持和認同，確保技術投入所需的資金充足，并配備所需的專業技術和/或提供良好的培訓。如果你不首先解決這些基本問題，那么其他的事情都不重要。

 

假設你已經完成了這些基本的工作，那么在大數據分析項目中成功與失敗的區別就在于你如何處理大數據分析的技術問題和挑戰。你可以做以下幾點來確保大數據分析項目的成功。

 

 

許多技術上的失敗都源于這樣一個事實，即企業所購買和部署的產品，結果是完全不適合他們想要完成的工作。任何供應商都可以將“大數據”或“高級分析方法”一詞放到產品描述中，以利用這些術語大肆炒作。

 

但產品在質量和效果以及側重點上，都有很大的差別。因此，即使你選擇了一種技術含量高的產品，它也可能并不擅長做你真正需要完成的工作。

 

幾乎所有的大數據分析產品都具有一些基本的功能，比如數據轉換和存儲架構(比如Hadoop和Apache Spark)。但是在大數據分析產品中也有很多細分領域，所以你必須為你的技術戰略實際所涉及到的領域來購買產品。這些領域包括過程挖掘、預測分析、實時解決方案、人工智能和商業智能控制面板等。

 

在決定購買任何大數據分析產品或存儲平臺之前，您需要清楚真正的業務需求和問題是什么，然后選擇那些能有效解決這些具體問題的產品。

 

例如，由于編譯海量數據集極具復雜性，您會選擇認知大數據產品，這些產品會使用人工智能來分析非結構化數據。但是，您不會將認知大數據工具用于分析結構化和標準化數據，因為您可以從眾多分析產品中選擇一種產品進行部署，并且以更合理的價格實時獲得高質量的洞察力，沃達豐電信公司大數據全局分析主管伊思雷爾·埃斯波西托(Israel Exposito)說。

 

埃斯波西托表示，在為你的生產環境選擇一款產品之前，至少要使用兩種產品來進行概念證明，這是很明智的。該產品還應該能夠與您的相關企業平臺進行交互。

 

每個大數據分析工具都需要在后端系統中開發一個數據模型。這是該項目中最重要的部分。 所以，您需要確保系統集成商和業務領域相關專家能攜手合作，花些時間把工作第一次就做好。

 

務必記住，正確的數據應隨時可以使用并翻譯成業務語言，這樣用戶就可以充分理解這些輸出結果，從而可以使用這些結果來推動商機或改進流程。

 

 

大數據和高級分析方法是很復雜的，但商業用戶用來訪問和理解這些數據的產品則并不需要很復雜。

 

為業務分析團隊提供簡單、有效的工具，用于數據發現、分析和可視化。

 

GoDaddy公司商業智能工具企業數據拓展專員莎倫·格雷夫斯(Sharon Graves)表示，對于域名注冊商GoDaddy來說，尋找合適的工具組合是很困難的。它必須易于快速可視化，并且能夠進行深入分析。GoDaddy公司能夠找到這些產品，讓商業用戶可以利用這些產品輕松找到適當數據，然后自行生成可視化效果。這就讓分析團隊有時間來處理更多的分析工作。

 

最重要的是，不要向非技術性的商業用戶提供程序員級別的工具。這樣他們會變得沮喪，可能會使用他們以前的工具，而這并不能滿足目前的工作(否則，你就不會實施大數據分析項目)。

 

 

尋找錯誤的數據分析工作可能失敗的另一個原因是，因為這項工作最終變成用于尋找那些并不存在的問題的解決方案。這就是為什么你必須把你正在尋求解決的業務挑戰/需求擺在正確的分析問題上，信息服務提供商益博睿(Experian)全球數據實驗室的首席科學家Shanji Xiong說。

 

關鍵是要在項目早期就邀請具有很強分析背景的業務專家與數據科學家合作來定義問題。

 

這是益博睿公司自己的大數據分析項目的一個例子。在設計分析解決方案以打擊身份欺詐過程中，所面臨的挑戰可能是評估個人身份信息(PII)(如姓名、地址和社會保險號碼)是否合法。或者，面臨的挑戰可能是評估使用一組身份信息來申請貸款的客戶是否是該身份信息的合法擁有者。或者這兩種挑戰可能同時存在。

 

Xiong說，第一個挑戰是“合成身份”問題，這需要在消費者或個人身份信息級別開發出一個分析模型來評估合成身份的風險。第二個挑戰是欺詐申請問題，評估欺詐風險的得分則需要在申請級別進行開發。益博睿公司必須理解這些是不同的問題，盡管它們可能最初被認為是同一問題的不同表述，然后建立了正確的模型和分析方法來解決這些問題。

 

當一組個人身份信息被提交給兩家金融機構申請貸款時，通常要求對綜合風險所返回的評分是相同的，但這通常不是欺詐申請評分的必要功能，Xiong說。

 

正確的算法必須應用于正確的數據，以獲取商業智能并做出準確的預測。在建模過程中收集和包含相關數據集幾乎始終是比微調機器學習算法更重要，所以數據工作應該被視為重中之重。

 

 

顧名思義，大數據涉及海量數據。在過去，很少有組織能夠存儲這么多數據，更不用說對數據進行組織和分析了。但是現在，高性能存儲技術和大規模并行處理在云端和基于本地系統都得到廣泛使用。

 

然而，存儲本身是不夠的。您需要一種方法來處理為大數據分析所提供的不同類型的數據。這正是Apache的Hadoop軟件的功能，它可以對海量的和不同的數據集進行存儲和映射。這種存儲庫通常被稱為數據湖。一個實際的湖泊通常是由多個溪流匯集形成的，它包含許多植物、魚類和其他動物，而數據湖通常由多個數據源提供數據，并包含許多類型的數據。

 

但數據湖不應該成為數據的垃圾場。亞利桑那州立大學(Arizona State University)計算機運算研究主任杰伊•埃切斯(Jay Etchings)表示，你需要考慮如何來匯總數據，并以一種有意義的方式來擴展屬性。數據可以是完全不同的，但是如何使用像MapReduce和Apache Spark這樣的工具對數據進行轉換用于分析，這應該使用一個可靠的數據架構來完成。

 

建立一個數據湖，在這個數據湖中，數據的攝入、索引和標準化是大數據策略精心規劃的組成部分。埃切斯說，如果沒有清晰的理解和明確的藍圖，大多數數據為主導的項目注定要失敗。

 

同樣，擁有足夠的帶寬是至關重要的，否則，數據不會從不同的數據源移動到數據湖中，并且商業用戶也不會很快獲得效果。埃切斯說，要實現擁有海量數據資源，不僅需要每秒能夠處理數百萬I/O(IOPS)的快速磁盤，而且還需要對節點和處理引擎進行互聯，可以隨時訪問數據。

 

從社交媒體發展趨勢到流量路由，速度對于實時分析尤其重要。因此，要在最快的互連環境中創建你的數據湖。

 

 

計算基礎架構組件的高度異質性大大加速了組織從數據中獲取有用見解的能力。但也有一個缺點，即系統的管理和安全要復雜得多，埃切斯說。由于涉及海量數據以及大多數大數據分析系統的任務極為重要，未能在保護系統和數據方面采取足夠的預防措施，那么這在很大程度上是自找麻煩。

 

公司所收集、存儲、分析和共享的大部分數據都是客戶信息，其中一些是個人的和可以識別的信息。如果這些數據落入不法分子之手，結果可想而知：公司會因訴訟而導致金錢損失、可能會受到監管部門的罰款、品牌和聲譽受損，以及客戶的不滿。

 

您的安全措施應該包括部署基本的企業工具：實用的數據加密、身份和訪問管理以及網絡安全。但是，您的安全措施還應該包括有關正確訪問和使用數據的培訓和策略實施。

 

 

確保良好的數據管理和質量應該成為所有大數據分析項目的標志，否則失敗的可能性要大得多。

 

您需要實施控制措施，以確保數據是最新的、準確的并能夠及時交付。作為大數據項目的一部分，GoDaddy公司實施了警報功能，如果數據更新失敗或超時，則會通知管理人員。此外，GoDaddy公司還對關鍵指標實施了數據質量檢查，當這些指標與期望值不一致時發送警報。

 

確保數據質量和治理的一個重要內容就是雇傭熟練的數據管理專業人員，包括數據管理主管或其他管理人員來監督這些領域。鑒于這些項目的戰略重要性，企業擁有對數據管理、操作、治理和策略的數據所有權是極為必要的。

 

版權聲明：本文為企業網D1Net編譯，轉載需注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。