在過去的幾年中一直炒作大數據,我們也都興奮于大數據到底有多少潛力。 但客觀來說,緊隨其后的卻是失望,當一些公司把存儲和分析工具采購到位后,不知道自己真正想要做什么。
從技術角度來說,目前已經有很多技術和趨勢,比如機器學習、人工智能,先進分析、預測分析、實時分析、Hadoop和Spark,以及其他Apache基金會項目,如開源、云計算服務、自助服務等等。
2015年是非常火的一年,2016年似乎將同樣熱鬧,這個趨勢不是CIO可以扭轉的。大數據技術已經瓦解了以往單一業務運營模式,建立了新的產業形勢,比如uber利用數據優勢的方式進行商業競爭,是每個人都會提到的例子。現在的CIO,需要跨越兩個不同的世界,既要服務好現有的客戶,提供更快的即時服務;同時要滿足數據驅動的客戶需求,否則將會失去開拓新市場的機會。
但如何從A點(大數據)到B點(商業價值)的轉化? 通過與企業高管、CIO、供應商、分析師等進行交流,在火爆的炒作中冷靜思考,看看2016年的大數據領域有哪些需要思考的熱點?
1
首席數據官-新興職位
企業應對數字化時代的沖擊,尤其是要面對來自有大數據基礎的競爭對手壓力,已經將精力放在培養首席數據官(chief data officer ,CDO),來為企業發展提供大數據策略。
首席數據官地位日益重要,將獲得更多的權力和聲望。但有的人對這個職位的長遠發展表示質疑。因為對于一些有大數據分析基礎的企業,不會從任命CDO中受益。
2
支持更多業務用戶
顯然,大數據這么熱,相對的必會出現人才短缺,隨著業務的發展,需要更多分析師及數據科學家補充進來,并且需要尋找更多的工具和功能使信息更直接地為人所用。在這種情況下怎么辦?
可以看到,微軟和Salesforce 最近都發布了解決方法,即,可以讓非編碼者創建應用程序來查看業務數據。
3
智能化趨勢
無代碼編寫需求(No-coding-required)應用程序是一種讓業務用戶更容易得到他們需要的信息的方式,簡化獲取信息的流程。不過還有另一種方式,即在企業內的應用程序中直接嵌入分析功能。IDC預測 ,到2020年,一半的業務分析軟件將建立在認知計算功能上。
Gartner甚至指出,自主意識主體(autonomous agents and things)將成為另一個很有前途的趨勢,標志了機器人時代的到來,比如自動駕駛車輛、虛擬個人助手以及智能顧問等等。
Gartner研究員、副總裁David Cearley在一份聲明中說,“未來五年我們將發展智能代理,推進到后應用時代,并提供動態行為和接口,”他認為,“領導人應該探索如何使用這種機器人以強化人類活動,并代替一些以前必須要以人工方式完成的任務“。
4
人才短缺結束了嗎?
最近由商業咨詢企業A.T. Kearney公司發布的一份報告顯示,即便領先的跨國公司都在報告中說他們很難招聘到數據科學人才。
然而, 國際研究所的分析預測 ,數據人才危機可能在2016年有所緩解,因為企業采用了一些新策略。
報告中顯示,“企業采取了許多方法來解決人才危機,比如依靠新的大學項目來提高招聘,創建內部項目培訓現有員工進行分析和挖掘數據。”
因此, IDC的報告 ,現在數據人才短缺已經從數據科學家延伸到數據架構師及數據管理專家。這也將推動大數據相關專業服務在2020年達到23%的年復合增長率。
5
機器學習的發展勢頭
機器學習也是做大數據工作的it人員非常關注的一個方面,那么它在2016年有怎樣的發展?分析企業Ovum公司預測,機器學習將在2016年當中成為“數據準備與預測分析工作的敲門磚”。
和 Gartner確認 下一階段,將先進的機器學習作為2016年的最高發展戰略。 分析公司說,機器學習的一種高級形式稱為深層神經網絡,可以創建系統能夠自主學習自己感知的世界。“這個領域正在迅速發展,企業必須評估如何應用這些技術來獲得未來的競爭優勢。”
6
Spark 成為寵兒
根據Ovum分析,SQL在大數據分析中的地位至高無上,但Spark這個后起之秀正在快速增長。 “Spark將補充SQL的不足,比如可以實現圖形分析流媒體,并幫助開發人員利用自己所熟悉的語言對企業數據庫內的數據流進行查詢”。
7
數據即服務(Data-As-A-Service)商業模式即將來臨
一個標志性事件是,IBM收購了美國天氣公司,包括所有相關的天氣數據、數據流,以及最核心的預測分析技術,未來將會把data-streams-as-a-service作為一個新的商業模式。
巨頭收購數據公司的這種趨勢下,其他數據公司也開始打包、出售他們的數據。Forrester預計,一些公司會搭上這個順風車,取得成功。但盡管這個未來前景非常好,大多數的公司還是會錯失良機,難以在保護個人信息和采取適當的商業模式中的諸多復雜問題中找到平衡”。
8
實時分析
Forrester預計,流數據挖掘和分析在2016年將成為大數據贏家必備技能。
Forrester副總裁布萊恩·霍普金斯解釋說,“簡單將數據進行批式分析,轉化為企業行為的方式已經遇到瓶頸。未來12個月,更多的企業會轉向基于分布式架構的、開放源碼的流媒體,建立在像Kafka和Spark這種開源項目上,這類實時分析解決方案將會越來越多。”
9
又一個新興領域出現:算法市場
Forrester的另一個預測是, “企業意識到很多算法與其自行開發,不如通過市場購買,直接向其中添加數據即可”。目前已經提供此類服務的有:Algorithmia、 Data Xu和Kaggle。