2017年大數據產業發展趨勢是非結構化開放的,Hadoop繼續稱霸,外加數據可視化使用垃圾數據謎續,具體預測如下:
1.非結構化高于結構化數據量
一類信息能夠用數據或統一的結構加以表示,我們稱之為結構化數據,如數字、符號;而另一類信息無法用數字或統一的結構表示,如文本、圖像、聲音、網頁等,我們稱之為非結構化數據。結構化數據屬于非結構化數據,是非結構化數據的特例,今年非結構化數據將要凸顯占領結構化高度廣度。
2.結構化數據安全性高于非機構化數據
結構化數據的存在至少有40年之久,這種數據存儲在數據庫里,可以用二維表結構來邏輯表達實現數據,因此加密方式多樣化,安全性高,相比非結構化數據最近幾年才興起,它是以圖片,音頻,視頻,文檔形式存在,加密繁瑣困難,安全性低,然而二者屬于包含的關系,多數企業更傾向于以結構化數據的形態存在。
3.大數據產生在非結構化數據庫里
結構化數據分析的歷史已經很久了,至少在計算機數值計算開始的時候就有了,說已經有四十年也不為過,新聞,視頻,圖片,音頻,網頁這些形態每天在數以萬計的產生龐大的數據量,而這些數據不是以符號數字的形式存在的,大型的社交網絡,媒體網絡,都是以視頻,圖片,音頻,網頁形式存在,今年的大數據產品將在非結構化中日益增加。
4.Hadoop沒有可以抗衡的程序出現
Hadoop這個單詞如今鋪天蓋地,幾乎成了大數據的代名詞。僅僅數年時間,Hadoop從邊緣技術迅速成長為一個事實標準。如今想玩轉大數據,搞企業分析或者商業智能,沒有Hadoop還真不行。Hadoop實質上更多是一個分布式數據基礎設施:它將巨大的數據集分派到一個由普通計算機組成的集群中的多個節點進行存儲,意味著您不需要購買和維護昂貴的服務器硬件。
同時,Hadoop還會索引和跟蹤這些數據,讓大數據處理和分析效率達到前所未有的高度。Spark,則是那么一個專門用來對那些分布式存儲的大數據進行處理的工具,它并不會進行分布式數據的存儲。雖然現在Spark很火,但是今年還是沒有能力和Hadoop抗衡。
5.大數據實現可視化趨勢
數據可視化技術讓隱藏在大數據資源背后的真相呈現在眾人面前。無論數據怎樣形成,無論數據資源在哪里,圖形數據可視化可以讓企業組織在業務繁忙的同時對數據進行檢索與處理。可視化數據不需要任何編程基礎。只需要上傳你的數據,便能輕松地創建和發布圖表,目前國際上已經有一些企業在發展大數據可視化做深入的研究,今年會有專門提供大數據可視化服務公司出現。
6.消費垃圾數據將繼續
人們將繼續追尋大數據,一直追到垃圾堆看到垃圾數據,詐騙電話、免費WiFi竊取用戶信息等關系到消費者權益的問題被逐一曝光,針對廣大中國網民,就各種假貨和欺詐行為通過更直接的方式進行采樣和分析判斷,這些都將是無用的垃圾數據,甚至是有害的數據。
在另一項調查中,國產手機成為預裝垃圾軟件的重災區,55.3%的用戶表示國產手機中預裝垃圾軟件最多產生的垃圾無用數據也最多,12.1%用戶則認為國外品牌在垃圾軟件數據產生更嚴重,今年乃至未來將有很長一段時間消費者將要繼續忍受消費垃圾數據。
7.數字智慧城市與大數據接軌
智慧城市相對于數字城市概念,最大的區別在于對感知層獲取的數據進行大數據處理,從而獲得支撐和保障智慧城市順利運營的多元信息,要實現對數字信息的智慧處理,前提是引入大數據處理技術,從而來整合分析跨地域、跨行業、跨部門的海量數據的處理,將特定的信息應用于特定的行業和特定的解決方案中,智慧城市的應用過程實際上就是對數據采集、分析、存儲和利用的過程,大數據是智慧城市各個領域都能夠實現"智慧化"的關鍵性支撐技術。
在大數據時代,智慧城市建設應大力推進大數據基礎平臺和基礎網絡建設,積極推進信息資源數據交換和共享體系建設,今年智慧城市開始要與大數據接軌。
8.數據造假存仍然在安全隱患
醫藥臨床數據造假,環保數據造假,市場調查數據報告造假,經濟數據造假,大數據造假給企業挖了一個大坑,大數據和以前的數據分析有3個明顯的區別:一是原來的數據分析針對部分樣本,大數據是所有的數據都要參與計算;二是大數據中,相關關系重于因果關系;三是大數據允許混雜數據甚至錯誤數據。
大數據允許混雜數據甚至錯誤數據。這是因為,大數據能夠通過造假數據的特征將其辨識出來。造假的數據和平常的數據不一樣,可以通過環比、同比、類比,發現數據中的異動,判斷企業是否存在數據造假行為,即便如此,數據造假問題在今年是不可能消失的,同時帶來的安全隱患,從而為各個行業指導錯誤的方向,失之毫厘,差之千里。
9.企業不需要大數據執行官
到目前為止,企業人事任免注意力大多聚焦于填補中低層職位空缺,但填補大數據首席執行官、在今年未來很長一段日子里還是不需要填補的。
當前可以指引公司的發展方向的責任才重大,作為回報,相當多的公司利潤落入管理層的腰包。如果在這一級別上做出錯誤的人事任命,發生災難的可能性將非常明顯。因此,目前企業不會填補大數據執行官,大數據還沒有發展到人人皆知的地步。
10.大數據服務公司進入資本市場
最近發數據的行業應用也開始火熱起來。"微眾銀行"的大數據金融概念深得國家支持,符合"普惠銀行"的政策。相信以后會有更多的行業跟大數據扯上關系,走向資本市場。
隨著境外大數據企業近年在美國資本市場的落地開花,相信今年會為國內的信息產業帶來新的靈感及發展方向。作為世界上其中一個數據使用量最大的國家,我們期待的是國內大數據企業在未來資本市場的大爆發。