如今,幾乎每個企業都在使用大數據。大數據分析提供了一個真正具有潛在利益的礦藏,但它也帶來了可能抵消潛在收益的重大挑戰。
NewVantage Partners公司的2018年大數據執行調查報告表明,97.2%的受訪者表示正在或已經投資于大數據和人工智能。這些投資導致了大數據的市場蓬勃發展。
根據調研機構IDC公司的調查,全球大數據和分析支出正以11.9%的復合年增長率(GAGR)增長,到2020年的收入總額可能超過2100億美元。
但是,在大數據分析上花費大量資金并不能保證組織能夠獲得他們想要的結果,有時很多企業甚至不知道自己在做什么。在2018年的大數據成熟度調查中,供應商AtScale公司指出,雖然78%的公司認為他們處于大數據成熟度的“中等水平”或“高水平”的標準,但事實上,只有12%的公司符合高水平成熟度的標準。而較低成熟度的組織在大數據分析方面仍面臨多重挑戰。
在著手實施新的分析項目之前,專家建議企業需要仔細權衡大數據的利弊,查看其計劃是否值得面臨風險和投資。
大數據的優勢
絕大多數企業表示大數據的好處是巨大的。在NewVantage Partners公司的調查中,73.2%的企業高管表示,他們已經看到了可衡量的業務成果。此外,也有一些企業高管認為,現在判斷這些投資對他們公司的影響還為時尚早。
那么大數據的優勢是什么?
以下是大數據具備的多重優勢,其中包括:
•更好的決策:在NewVantage Partners公司調查中,36.2%的受訪者表示更好的決策是他們大數據分析工作的首要目標。此外,84.1%的受訪者表示已開始朝著這一目標努力,59.0%的受訪者表示取得了一些可衡量的成功,其總體成功率為69.0%。大數據分析可以為業務決策者提供他們所需的數據驅動的洞察力,以幫助企業開展競爭和業務發展。
•提高生產力:來自供應商Syncsort公司的另一項調查發現,59.9%的受訪者使用Hadoop和Spark等大數據工具來提高業務的工作效率?,F代大數據工具使分析師能夠更快地分析更多數據,從而提高個人生產力。此外,從這些分析中獲得的見解通常使組織能夠在整個公司內更廣泛地提高生產力。
•降低成本:Syncsort公司和NewVantage公司的調查均發現大數據分析正在幫助企業降低成本。近五分之三(59.4%)的受訪者表示Syncsort公司的大數據工具幫助他們提高了運營效率,并降低了成本,NewVantage公司的調查中,約三分之二(66.7%)的受訪者表示他們已開始使用大數據來降低成本。然而有趣的是,只有13.0%的受訪者選擇降低成本作為大數據分析的主要目標,這表明對于許多人而言,這只是一個非常受歡迎的附帶好處。
•改善客戶服務:在NewVantage公司調查的受訪者中,改善客戶服務是大數據分析項目的第二個最常見的主要目標,53.4%的受訪者表示在這方面取得了一些成功。社交媒體、客戶關系管理(CRM)系統、其他客戶為當今的企業提供了大量有關其客戶的信息,他們很自然地會使用這些數據來更好地為這些客戶提供服務。
•欺詐檢測:大數據分析的另一個常見用途用于欺詐檢測,特別是在金融服務行業。依賴于機器學習的大數據分析系統的一大優勢是它們在檢測模式和異常方面非常出色。這些能力可以讓銀行和信用卡公司能夠發現被盜信用卡或欺詐性購買,并且通常是在持卡人知道出現問題之前發現問題。
•增加收入:當組織使用大數據來改善決策并改善客戶服務時,增加收入通常是一個自然的結果。在Syncsort公司的調查中,超過一半的受訪者(54.7%)表示他們正在使用大數據工具來增加收入,并根據更好的洞察力加速增長。
•提高靈活性:同樣,從Syncsort公司的調查報告中,41.7%的受訪者表示大數據的好處之一是能夠提高業務/IT敏捷性。許多組織正在使用其大數據來更好地調整其IT和業務工作,并且他們正在使用他們的分析來支持更快、更頻繁地更改其業務戰略和策略。
•更好的創新:創新是大數據的另一個共同利益,NewVantage公司的調查發現,11.6%的高管正在投資分析,主要是作為創新和顛覆市場的手段。他們認為,如果他們能夠收集競爭對手所沒有的見解,他們就可以通過新產品和服務領先于其他企業。
•更快的上市速度:在這些方面,很多企業表示將使用大數據來加快產品上市速度。只有8.8%的受訪者表示這是大數據的首要目標,但53.6%受訪者已經開始朝著這個目標努力,其中54.1%的受訪者表示取得了一些成功。大數據的這種優勢也可能帶來額外的好處,例如更快的增長和更高的收入。
大數據的缺點
另一方面,許多企業在實施大數據分析計劃時也報告了一些重大挑戰。大數據缺點其中包括:
•對人才的需求:數據科學家和大數據專家是IT領域最受歡迎的高薪工作者。AtScale公司的調查發現,缺乏大數據技能是過去三年來企業采用大數據面臨的頭號挑戰。在Syncsort公司的調查中,受訪者將技能和員工列為創建數據湖時的第二大挑戰。雇用或培訓員工可能會大大增加成本,獲取大數據技能的過程需要相當長的時間。
•數據質量:在Syncsort公司的調查中,處理大數據的首要缺點是需要解決數據質量問題。在他們將大數據用于分析工作之前,數據科學家和分析師需要確保他們使用的信息準確和相關,并且采用適當的格式進行分析。這大大減緩了報告流程,但如果企業不解決數據質量問題,他們可能會發現他們的分析所產生的洞察力毫無價值,甚至在采取行動時是有害的。
•需要進行文化變革:許多利用大數據分析的組織不僅希望在報告方面做得更好,還希望使用分析在企業內部創建數據驅動的文化。事實上,在NewVantage公司的調查中,98.6%的高管表示他們的公司正在創建這種新型企業文化。然而,改變文化是一項艱巨的任務。到目前為止,只有32.4%的受訪者表示在這方面取得了成功。
•合規性:大型分析工作的另一個棘手問題是遵守政府法規。企業的大數據分析中包含的大部分信息都是敏感的或個人的信息,這意味著企業在處理和存儲數據時可能需要確保它們符合行業標準或政府要求。在Syncsort公司的調查中,數據治理(包括合規性)是處理大數據的第三大障礙。事實上,當受訪者被要求按照從1(最重要)到5(最不重要)的等級對大數據挑戰進行排序時,大數據在合規性的缺點顯然是最重要等級。
•網絡安全風險:存儲大數據(特別是敏感數據),可以使企業成為網絡攻擊者更具吸引力的目標。在AtScale公司的調查中,受訪者一直將安全性列為大數據的主要挑戰之一,而在NewVantage公司的調查報告中,高管將網絡安全漏洞列為企業所面臨的最大數據威脅。
•快速變化:大數據分析的另一個潛在缺點是技術正在迅速變化。組織可能面臨著非常多變的情況,他們將投資于特定的技術,只是為了在幾個月之后獲得更好的結果。Syncsort公司的受訪者將快速變化列為他們面臨的潛在挑戰中的第四位。
•硬件需求:組織面臨的另一個重要問題是支持大數據分析計劃所需的IT基礎設施。用于存儲數據的存儲空間,用于將數據傳輸到分析系統或從分析系統傳輸的網絡帶寬,以及用于執行這些分析的計算資源在購買和維護方面都是十分昂貴的。一些組織可以通過使用基于云計算的分析來解決此問題,但這通常不會完全消除基礎設施問題。
•成本:當今許多大數據工具都依賴于開源技術,這大大降低了軟件成本,但企業仍然面臨與人員配備、硬件、維護和相關服務相關的大量開支。大數據分析計劃在預算范圍內大幅度運行并且比IT經理最初預期的部署時間更長,這種情況并不少見。
•難以集成遺留系統:大多數經營多年的企業已經在各種環境中的各種不同應用程序和系統中分析和存儲了數據。集成所有這些不同的數據源,并將數據移動到需要的位置也會增加處理大數據的時間和費用。
感知大數據的挑戰
資料來源:AtScale 2018年大數據成熟度調查
大數據的利弊
最后,在權衡大數據的利弊時,大多數組織都認為優點大于缺點。但是,在啟動新的大數據項目之前,大數據的優點和缺點總是讓企業值得仔細考慮。
大數據的優點和缺點 |
優點 |
更好的決策 |
提高生產力 |
降低成本 |
改善客戶服務 |
欺詐識別 |
增加收入 |
提高靈活性 |
更大的創新 |
更快的上市時間 |
缺點 |
數據質量 |
需要人才 |
文化變革 |
合規性 |
網絡安全風險 |
快速變化 |
硬件需求 |
成本 |
難以集成遺留系統 |