在此背景下,IDC開啟了《IDC MarketScape: 中國大數據管理平臺廠商評估,2020)》研究并已于近期發布了此報告。
大數據管理平臺市場現狀
市場發展驅動力:
1、大數據技術的不斷突破創新,主要來源于廠商的主動性突破創新,例如湖倉一體、交互式查詢等;
2、從商業模式上看,商業生態環境無時無刻不在變化,企業也需要不斷調整、擴展業務邊界,加強生態合作,使得企業與外部之間的數據交互呈現明顯增長,為數據集成、查詢、實時分析等都帶來需求;
3、數字化轉型、智能化升級帶來的需求,一方面企業內部場景都有降本增效的需求,另一方面企業都在向原生數字化企業發展,要實現業務數據化必須要規范建設大數據平臺;
4、數據量的變化,一方面數據量以26%的CAGR(2019-2024年復合增長率)速度高速增長,另一方面新增數據中半結構化數據、非結構化數據越來越多,對于數據存儲和計算帶來新的需求。
需求特點:
不同行業間需求差異化較高,對于有近千PB級數據量的用戶,比如互聯網、運營商、金融行業頭部機構,用戶對于高可用、吞吐量、實時性、并發量、彈性擴展等有很高的要求。而大部分傳統行業用戶并沒有較高的數據量積累,更重視的是數據集成、治理,以及大數據平臺工程化能力。
新技術熱點:
流數據分析已成為大數據平臺必備組件、圖數據庫、智能搜索、交互式分析、數據庫/數倉/大數據平臺融合成一體的數據管理架構、隱私計算。
從市場格局角度來看,大致分為3類公司:
1、以云服務廠商為代表,追求技術的領先性,具備豐富的產品組合,代表廠商AWS、阿里云、騰訊云;
2、以傳統ICT廠商為代表,強調大規模部署的能力,強調擴展性、穩定性,代表廠商華為、浪潮、新華三;
3、大數據時代的創企,典型的企業有早期的星環科技、Cloudera,以及近2年正在崛起的Kyligence公司。
未來趨勢:
1、對于大數據的投資不再是單純的平臺層、基礎軟件層的投資,廠商都在積極拓展“數據中臺”類解決方案,強化數據治理能力,建立數據服務能力,以降低數據獲取門檻以及數據分析任務的復雜性;
2、數據管理平臺的簡化和統一,數據庫、數倉、大數據平臺、數據湖混搭架構下,如何簡化數據pipeline、提高數據開發效率是重要方向。
供行業用戶參考建議
幾個關鍵問題:
1、開源還是自建:基于開源技術自建與采用商業化產品的考量,自建大數據系統固然有較高的自主化程度,大部分傳統企業并沒有足夠的人力資源和技術水平可以熟練靈活采用大數據;
2、數倉還是大數據、數據湖:新增數據,未經處理的數據,先入大數據平臺,經過清洗處理后,按照企業的元數據管理標準進入數倉,重要的是先規劃好企業的元數據標準,避免重復建設、逐步解決數據煙囪林立問題。
評估廠商的大數據能力:
1、在大數據平臺之外,考量廠商以及其合作伙伴對業務應用的理解能力,大數據實施中能夠融入行業最佳實踐經驗的能力;
2、數據治理能力,包括工具層面與方法論層面;
3、考慮能夠與組織商業模式、生態體系互補的合作伙伴,用戶在選擇大數據平臺的時候,應該考慮供應商在此方面能提供的支撐,包括數據資源以及商業合作層面的考量;
4、不同行業間數據就緒程度、數據架構基礎、數據應用需求差距大,尋找適配當前業務需求的產品最為重要;
5、未來的大數據分析類平臺的建設,都應該考慮數據的自助服務能力、數據的復用性,不斷推進企業業務數據化,數據資產化。
展望未來,IDC中國助理研究總監盧言霞表示:“推動大數據平臺的建設,核心即深化數字化業務戰略及執行。大數據平臺建設能取得的成就與數字化轉型能實現的高度呈正相關,要推動數字化轉型首先需要建立協同的組織架構與流程,一是建立自上而下的戰略,由核心高管推動落地;二是建立真正能夠推動數字化的組織架構,三是建立高度認可、全員積極推動的數據文化;最后,建立業務與技術部門的有效協同機制。”