日前發布的《2017~2022年中國大數據產業發展前景與投資戰略規劃分析報告》顯示,中國大數據產業市場在未來五年內,仍將保持著高速增長。預計2016年年末,市場規模將達到2485億元,而隨著各項政策的配套落實及推進,到2020年,中國大數據產業規模或達13626億元的高點。
前瞻產業研究院認為,通過大數據技術使人們可以利用以前不能有效利用的多種數據類型,抓住被忽略的機遇,使企業機構變得更加智能和高效。大數據的重心將從數據的存儲和傳輸過渡到數據的挖掘與應用,這將深刻地影響企業的商業模式,既可直接為企業帶來利潤,也可通過正反饋為企業帶來難以復制的競爭優勢。據麥肯錫測算,大數據的應用每年潛在可為美國醫療健康業和歐洲政府分別節省3000億美元和1000億歐元,利用個人位置信息潛在可創造出6000億美元的消費者剩余。因此大數據應用有遠超萬億美元的市場。
大數據產業鏈參與者眾多,覆蓋面廣。按照產品形態,主要分為硬件、基礎軟件和應用軟件三大領域。綜合各領域國內外競爭態勢,商業智能、信息安全和云計算將是數據挖掘和應用環節國內相對受益的三駕馬車。其中國內智能市場已步入成長期,“十三五”期間潛在空間將超過300億元;信息安全“十三五”期間潛在空間將超過4000億元;云計算剛進入成長期。
大數據在帶來機遇的同時,也在人才、技術、信息安全、國家戰略決策等方面帶來了較大的挑戰。
據IDC測算,到2020年,全球需要管理的數據量將達到35ZB,相較于2011年將增長50倍,而同期IT從業人員將僅增加1.5倍,意味著人均管理數據量將膨脹近33倍。雖然目前看來,人力資源的配給與現有的數據庫管理技術基本是匹配的,但是未來,如果人類管理數據的效率不能保持同步提升,在大數據時代將無法對數據進行有效管理。
傳統數據庫的管理能力無法應付大數據體量的數據。人們和機器制造的越來越多的業務數據對IT系統帶來了更大的挑戰,數據的存儲和安全以及在未來訪問和使用這些數據已成為難點。目前成熟的經典數據庫技術——結構化數據查詢語言SQL,在設計的一開始是沒有考慮非結構化數據的,也就是說以前計算機人員討論數據的時候,數據的范圍限定在結構化數據范疇以內。隨著數據類別的擴大,目前的大數據已經囊括了半結構化和非結構化數據,這已超出目前常規數據軟件工具所能承受的極限。