近年來,伴隨著移動互聯網、物聯網、云計算的快速發展,大數據的價值被更多的行業企業所重視、發掘并利用,在當今的數據洪流時代,各類企業在數據的生產、存儲、清洗、應用等方面都在進行著全方位的立體創新。
大數據要依靠云計算
降本增效
一直以來,大數據技術被認為是由硬件摩爾定律、并行計算體系創新的技術驅動,互聯網應用、智慧地球的業務推動迅猛發展起來的,而大數據應用層面卻需要解決成本、效率、質量的多重問題,為此,大數據只有經過云計算的降本增效才能快速發展。
云計算將計算、存儲資源低成本、便捷化、彈性可擴展,為大數據這個殺手級的應用提供了可靠的保障。隨著數據越來越多、越來越復雜、越來越實時,更需要云計算進行挖掘、提煉、過濾、分析,才能產生價值。
以Hadoop為代表的云計算技術使得對PB級的海量非結構化數據的集中處理和存儲成為可能,構建在X86平臺上的MPP數據倉庫提高了橫向擴展性,并使得集中化地對海量結構化數據的處理和存儲成為可能,萬兆以太網等技術使得大規模數據中心成為可能,OTN技術以及近幾年對傳輸基礎設施的投入,使得跨地域大量數據的傳輸成為可能……由此可見,大數據是落地的云,是云應用的價值體現。
我們看到,集中式存儲、分布式數據庫為大數據提供了良好的設施保障,而大數據的發展不能再依賴于人的智慧分析能力,它更多地需要機器具備一定的自我學習、自我成長、智慧處理的計算能力。未來一段時間,購買設備自建IT基礎設施已經成為一種“作坊”行為,面對互聯網、移動互聯網催生的產業信息化浪潮,需要云計算這樣龐大集群的基礎設施,才能保證大數據的產出,才能保證價值服務的形成。
信息安全是大數據的
首要課題
正如Gartner在《大數據時代的美國信息網絡安全新戰略分析》中所述,“大數據安全是一場必要的戰爭”。大數據從其起步開始,就與安全問題如影隨形。
面對PB到ZB級的海量存儲數據,無論是Hadoop、SQL、NoSQL,還是嚴格的訪問設置和隱私管理,對這些不同系統、不同應用關系、不同來源的數據洪流的安全防范,都會存在信息泄露的風險。
而且,大數據分析挖掘技術本身就是風險來源之一。大數據的發展依賴于信息挖掘、分析、清洗、整理的能力,在挖掘過程中,難免會觸及挖掘對象的個人信息、隱私數據,甚至成為很多信息處理公司爭相漁利的市場,這一點需要政策立法層面的信息保護。
此外,大數據環境下的資源濫用、不安全集成等應用防護風險,身份仿冒、信息劫持等接入風險,惡意篡改、虛擬應用融合風險等大量并存,需要從頂層設計角度關注大數據的系統風險。
美國早在2012年3月22日就將“大數據”上升為國家戰略,甚至將大數據定義為“未來的新石油”,并將安全機制上升到國家層面。我國也需要從立法層面規范大數據的信息安全標準、原則、管控手段。
同時,基于云平臺的安全技術框架、安全監測技術保障、應用防護安全應用、云端的安全審計等也是必不可少的,這樣“云計算能力+云存儲能力+大數據技術+安全防護”才是大數據快速發展的根本。
運營商開展數據經營
大有可為
在互聯網乃至移動互聯網時代,運營商是數據交換的中心,運營商的客服系統、業務平臺、網絡管道都產生著大量的數據,這些數據的精準分析有利于改善客戶體驗、優化網絡質量、刺激業務創新、開展精準營銷,可見,數據經營已經成為大勢所趨。
大數據為運營商帶來前所未有的機遇。一是運營商具有龐大的基礎網絡,具有用戶聚合優勢,已經成為客戶應用大數據的重要入口。二是大數據對云平臺、對基礎設施的高度要求,為運營商網絡平臺及應用服務的全面升級提供了廣闊的市場空間。三是運營商的數據經營將產生更靈活更創新的商業模式,安全地提供數據挖掘服務,為豐富互聯網應用、中小企業發展、產業行業發展會做出更多的貢獻。
當然,運營商數據經營還存在一定的挑戰。一方面,運營商的內部系統多數存在分省建設、模型迥異、標準不統一等問題,這對大數據要求的集中整合和實時交互是個巨大挑戰;另一方面,原有高端商用系統多數具備結構化數據的處理能力,需要提升面向互聯網應用的大量非結構化數據處理能力。
運營商已經紛紛啟動大數據經營與服務。在內部應用上,以集中數據為指引,統一頂層架構設計、集中數據統一管理、開放數據能力服務,以數據集中引領生產系統集中,促進生產系統邏輯集中和流程貫穿。在外部服務上,運營商基于IaaS層基礎電信能力,開展PaaS、SaaS層產品合作,沉淀并挖掘有價值的數據服務信息,向特定細分市場有選擇、有目標地安全開放。