馬云說:"世界正從IT時代進入DT時代。" IDC預計,未來全球數據總量年增長率將維持在50%左右,到2020年,全球數據總量將達到40ZB。其中,我國數據量將達到8.6ZB,占全球的21%左右。據中國信息通信研究院調查顯示,73%的企業的數據在50TB~500TB之間,擁有500TB數據的企業占17%。即便如此,數據資源的短缺、技術水平的不足,以及需要龐大的分析投資仍是制約企業大數據應用發展的主要制約因素。傳統數據庫技術已無法滿足高效處理這些數據、挖掘潛在價值的要求,急需一整套專業化的大數據解決方案來點石成金,H3C DataEngine大數據平臺在此背景下應運而生。
近期,CEIA中國企業IT大獎公布,新華三榮獲2016CEIA最佳大數據方案提供商大獎。H3C采用Hadoop和MPP分布式數據庫融合的計算框架為用戶提供完整的大數據平臺解決方案,包括數據采集轉換、存儲計算、分析挖掘、共享交換、BI展示以及運維管理等全系列功能,幫助用戶構建海量數據處理系統,發現數據的內在價值,獲取新的市場機會。
H3C DataEngine大數據平臺主要的特性及優勢包括:
先進的融合計算架構
采用Hadoop和MPP融合技術架構,對半結構化、非結構化數據提供低成本存儲,并提供低時延、高并發的查詢和分析功能;對結構化數據采用MPP分布式數據庫,支持列式存儲、分布式計算、智能索引等功能,實現高性能結構化數據分析處理。集成MapReduce、Spark、Storm、Tez等多種計算引擎,利用YARN資源管理組件統一管理調度,可在同一份數據集上運行多種計算引擎,能滿足高吞吐、大數據量和低時延實時處理等多方面的數據計算要求。
高性價比的分布式集群
基于x86服務器本地的計算與存儲資源,計算集群可以動態調整,從數臺到數千臺之間彈性擴展,按需構建應用,減少總體成本;同時,在設計時充分考慮了硬件設備的不可靠因素,在軟件層面提供計算和存儲的高可靠保證,具備較強的容錯性。
多源的數據集成將不同業務系統中分散、零亂、標準不統一的各種源數據中的數據進行匯聚。支持從DBMS、互聯網、物聯網、企業生產系統等各種數據源中提取數據。各類數據經過抽取、清洗和轉化后,實現多對多地加載到包含但不限于大數據集群和各類關系型數據庫中。該過程由一個統一的操作接口封裝,經過無代碼的可視化配置后,可實現自動化地、分布式地執行整個ETL作業流程。
數據分層和分級存儲
把數據按照不同階段分為ODS(Operational Data Store)數據、輕度匯總數據、和應用數據,分別存儲在關系型數據庫、Hadoop平臺、MPP分布式數據庫,滿足不同階段的計算需求;按照在線數據、歷史數據等來管理數據生命周期,滿足在線數據的高性能存儲的需求;將核心模型數據通過改造融入到數據倉庫的核心模型中,減少數據冗余,提升數據質量。
數據分析挖掘
支持R語言,集成機器學習算法庫Mahout和Spark MLlib,包含聚類分析、分類算法、頻度關聯分析和推薦系統在內的常用機器學習算法。滿足批處理統計分析、在線數據檢索、R語言數據挖掘、實時流處理、全文搜索等全方位需求。可幫助企業建立高速可擴展的數據倉庫和數據集市,結合多種報表工具提供交互式數據分析、即時報表和BI可視化展示能力。
數據服務接口
提供交互式SQL和可編程API,提取數據存儲計算平臺的數據處理結果,屏蔽底層細節,為上層應用提供數據服務。主要包括SQL接口、MapReduce/Spark/Storm計算接口等多種可編程API、全文實時搜索接口、業務定向接口、關聯查詢接口,滿足數據查詢、可視化BI展示、數據交換、數據分析、目錄服務、綜合查詢等業務應用的需要。
可視化運維管理
提供Web圖形化界面對集群管理和監控,對集群的節點、主機和服務的運行狀態直觀顯示。并提供集群快速安裝部署、機架展示、用戶權限管理、主機與服務管理、監控及告警通知等功能,在可管理性方面優勢顯著。
本次CEIA大獎評選分兩輪進行,第一輪由數萬名讀者通過網上投票選舉出每個細分項目的前三名;第二輪由150位信息主管組成的評委在每個細分項目的前三名中評選出第一名。新華三憑借其深厚的技術實力、卓越的用戶體驗及在移動互聯網市場豐富的實戰經驗,贏得眾多政企IT信息主管的好評,最終摘得2016 CEIA國內最佳大數據方案提供商大獎。
關于CEIA中國企業IT大獎
CEIA中國企業IT大獎由國內政企市場最精準專業的媒體 - 企業網D1net組織。前身為CCCA中國云計算大獎,CENA中國企業網絡通信大獎,均為政企市場相關領域最權威的獎項。迄今已成功舉辦八屆,在政企市場有著良好口碑。
CEIA中國企業IT大獎具有極高的專業性、客觀性和權威性。該獎項評選第一輪由網上讀者投票,選出每個細分評選項目的前三名;第二輪由約150位業界資深高管和專家組成的評委在每個細分項目的前三名中評選出第一名,授予年度大獎。往年各屆評選中,不乏華為、聯想、思科、微軟、蘋果等國內外知名公司。