新興產業的出現和發展有兩種基本模式。一種是需求導向型,實際應用中出現了明顯的痛點,必須要解決,不然就有人一直痛。另一種是技術導向型,革命性的技術先出現,慢慢地新技術擴大了用戶的想象空間,進而激發出新的需求。大數據從概念提出到今天形成一個完整的產業,基本上屬于第二種模式。
Hadoop生態系統下的技術(包括 pig,hive,spark,storm,hbase等)是目前大數據業界中事實上的標準。但在hadoop從互聯網產業走出之前,大數據本身還不能稱之為一個“產業”,因為它沒有形成足夠大的規模。所以大數據并不是指數據量有多大,是GB,TB還是PB,這其實沒有關系。真正意義上的大數據是指 hadoop體系技術從互聯網行業被引入到其它行業,進而得到快速、廣泛、多維度、多層次的大量普及應用。大數據之大,在于應用規模的大,而不是數據量的大。現在大數據的應用已經遠遠超越了互聯網行業,包括公安、智慧城市、醫療、交通、教育、通信、游戲、服裝、地產、旅游、保險、銀行、證券、食品安全、海事、零售、氣象等等--世界正快速進入全面數據服務的時代!
大數據產業發展最快的一個是美國,另一個就是中國。有關中國大數據市場容量的預測和估算有很多版本,激進者估計千億市場的,悲觀的認為國內大數據市場剛剛萌芽。判斷一個行業發展趨勢最好的工具現在就是求職招聘網站。我們將通過大數據相關職位空缺數,來判斷國內大概有多少個企業客戶在實施大數據項目。我們以51job為例做些調查分析。分析的方法非常簡單,統計大數據相關職位的招聘情況。以下數據截止到2015年4月27日,來源于51job,地域覆蓋北上廣深杭。
分別選取了比較熱門的一些招聘職位:數據分析師、hadoop、數據挖掘、大數據開發工程師,企業招聘情況如下:
合計為2861個,對結果進行一些修正:
(1)因為職位名稱,或者沒覆蓋到的其他大數據技術職位,乘以系數:1.2
(2)因為51job的限制,僅僅統計了5個城市,乘以系數1.3
(3)可能沒在51job上發布的職位: 乘以系數1.1
這樣修正后,國內大數據職位空缺數4909。根據這個數字,我們來推算客戶數:
(4)考慮同一家公司可能同時有1-3個大數據相關職位發布,乘以系數:0.8
(5)假設在實施大數據項目的客戶有五分之一的有招聘需求,乘以系數:5.0
最終結果:19636。
也就是說,截止2015年4月27日,國內有大概19636個大數據項目在進行。假設平均一個項目規模為50萬(比較保守的估計),則國內大數據項目的規模合計為98億人民幣。考慮現在才是2015年第二季度,2015全年大數據項目規模肯定超過100億人民幣。數據服務有限公司)