中國移動大數據平臺產品研發和應用實踐項目立志于研發通用的、提供端到端大數據處理能力的大數據平臺,打造中國移動在Hadoop大數據產品族之上的自研大數據平臺產品,提供完善的大數據能力與完整的大數據解決方案,提升現網大數據系統的平臺能力,為中國移動IT系統的大數據平臺建設打下堅實的基礎。
“大云”大數據平臺是集安全、數據采集、存儲和處理、能力和應用以及運維和運營管理為一體的大數據平臺產品。其核心組件包括大云Hadoop數據平臺(BC-Hadoop)、“大云”大數據倉庫系統(BC-HugeTable)、大云大數據運營管理平臺(BC-BDOC)等。
“大云”大數據平臺已先后被應用于多個單位、部門的42個項目,在生產系統中部署了超過1000臺服務器。目前,依托“大云”大數據平臺,應用單位的多項大數據相關業務已完成遷移,由“大云”大數據平臺提供對數據采集到存儲和處理等大數據場景的全面支持。
成果的創新性與優越性
“大云”大數據平臺提供了完善的大數據能力,其中的子產品可分為三類:基礎組件產品(如大云Hadoop數據平臺BC-Hadoop)、大云大數據運營管理平臺產品(BC-BDOC)和應用產品(如大云互聯網采集系統)。其中,“大云”大數據運營管理平臺產品BC-BDOC提供大數據運營管理、數據管理和安全管理的功能,是核心產品之一。
技術層面上,“大云”大數據運營管理平臺BC-BDOC提供了基礎大數據產品之上全面化的平臺能力,解決了開源大數據基礎組件提供的多租戶能力不足的問題。
應用層面上,將包括“大云”大數據運營管理平臺BC-BDOC在內的大數據平臺產品運用于各個省公司的大數據平臺建設,為其解決了不同部門不同應用間的資源隔離、資源統一分配、服務申請、數據共享等問題。
“大云”大數據運營管理平臺BC-BDOC帶來了一套大數據平臺代替傳統的多個小集群的模式,實現一套大數據平臺部署多項應用,并做到資源合理分配,消除應用之間的影響,有效降低成本,提高集群的資源利用率。
成果的經濟效益與社會效益
應用單位和部門依托提供的完善的大數據能力以及資源隔離、資源統一分配、服務申請、數據共享等功能,有效地避免了冗余大數據集群的建設,節約投資約2000萬元。
中國移動“大云”大數據平臺產品,是基于成熟的Hadoop大數據基礎組件實現的具有完善的大數據能力與完整的大數據解決方案的平臺型產品。中國移動在研發過程中提出了多項專利,對包括大云大數據運營管理平臺BC-BDOC、大云大數據倉庫系統BC-Hugetable、大云并行數據挖掘系統BC-PDM、大云數據交換工具BC-CrossData、大云互聯網采集系統和大云互聯網情報分析系統在內的多項子產品擁有完全自主知識產權。
通過自主研發,中國移動掌握了大數據運營平臺建設的關鍵技術,為提高我國大數據自主創新能力,培育戰略性新興產業,加快轉變經濟發展方式提供了重要支撐。
本項目提供了從數據采集、存儲和處理到能力申請和應用托管的,具有一整套大數據能力的大數據平臺產品,包含的子產品從大數據基礎組件到典型大數據應用,具有良好的多租戶能力。
對大數據平臺進行研發,一方面對大數據技術進行了更深入的技術探索,另一方面為大數據平臺建設提供了穩定可靠的解決方案。本項目提高了中國移動的自主創新能力,增強了中國移動在大數據平臺建設領域的技術積累。