進入云計算時代以來,數據生產成本急速下降,以非結構化、半結構化類型為主的數據呈爆炸式增長,從而催生了一個影響巨大、前景可觀的新興產業大數據產業。
大數據是所有數據的集合,具有4V特征,即數據量大(Volume)、數據類型多樣(Variety)、生成速度快(Velocity),以及蘊含巨大價值(Value)。權威機構2011年發布的統計數據顯示,全球數據總量每過兩年就會增長一倍,預計到2020年人類擁有的數據總量將會達到驚人的35萬億GB。新增數據中,90%以上屬于傳統技術難以處理的非結構化數據,比如音視頻、圖片、網頁等。大數據所蘊含的價值往往具有較強的時效性,如果特定時間內不能完成處理,很多實用價值就會消失,比如氣象數據。
所謂大數據技術,就是從海量復雜數據中獲得信息所需要的軟件、硬件和服務技術。該技術能夠為社會、政治、經濟、文化等領域的活動提供智力支持,對人類的決策模式和社會經濟的運行模式產生深遠的影響。
大數據技術可以有效改善企業的數據資源利用能力,提高從數據到信息的轉化率,讓企業的決策更為準確,從而提高整體運營效率。美國得克薩斯大學對各個行業和大型企業的數據利用率和人均產出率進行了廣泛研究,結果顯示,數據利用率提高10%,財富100強中的企業人均產出提高14.4%,零售、咨詢服務行業人均產出分別提高49%、39%,即使食品、建筑、鋼鐵等傳統行業人均產出都可提高20%以上。大數據技術還可以幫助企業開辟全新的業務形態。傳統銀行由于成本高、風險大,一直不愿意向中小企業提供貸款,但阿里巴巴2010年開展的淘寶網中小企業無敵眼貸款,至今累計壞賬率也僅有1.94%,而且盈利可觀,其原因就是阿里巴巴通過對淘寶網客戶交易記錄進行分析,能夠以極低的成本準確評定每個商戶的信用等級。
大數據技術能夠幫助政府創新社會管理模式,改善公眾服務能力。美國警察部門已經使用大數據技術對歷史性逮捕模式、發薪日、體育項目、降雨天氣和假日等變量進行分析,從而優化警力配置。在突發事件判斷和應對方面,大數據技術可以發揮更大的作用。2011年3月美國國家海洋和大氣管理局(NOAA)在大數據技術的支持下在日本大地震發生9分鐘后就發布了詳細的海嘯預警,并擬定了詳細的應急方案,制作了海嘯影響模型發布在YouTube等網站,成為政府應對突發災害的典范。
總之,大數據是一個事關國家社會發展全局的產業。世界各國以大數據為核心的新一輪產業競賽已經拉開大幕。美國已經公布大數據研究和發展計劃,僅2012年投資額就高達2億美元。據統計,2010—2015年全球大數據市場年均復合增長超過50%,2015年將超過170億美元,而且中國市場潛力最大,遠景規模接近2萬億元。
對中國而言,社會經濟發展方式的全面轉型是“十二五”乃至更長時期的戰略任務,大數據產業對完成這一戰略任務意義重大,需要政府從全局角度進行統籌規劃。
在我國,互聯網是大數據技術發展和應用最快的領域,以百度、淘寶等為代表的運營商已初具規模,由其提供的服務也成為大眾對大數據體驗和認識的主要來源。但比互聯網更為重要的,是行業應用。首先,大數據技術在行業領域的普及過程就是該技術改造升級傳統經濟形式的過程,對于社會轉型升級具有更為直接的推動作用;其次,行業客戶整體規模遠數倍于互聯網,是市場的主要組成部分。我國經過多年的信息化建設,積淀了大量的數據資產,各個行業機構迫切將數據轉化為對外服務,轉化為業務競爭力。
大數據的行業應用不同于互聯網,將面臨許多新的技術挑戰,需要業內同行共同努力。