對于大數據而言,2016年是具有里程碑意義的一年,更多企業和機構在該年度存儲和處理各種形態和規模的數據,并從中提取有價值的信息。
站在辭舊迎新的2017年伊始,Tableau預測隨著數據管控和保護系統以及大數據分析系統的日趨成熟,人們將要迎來自助式大數據分析時代。
Hadoop的發展為自助式分析奠定技術基礎:速度更快、門檻更低,安全標準更高
作為一款大數據開發和運行處理的軟件平臺,Hadoop最初來源于谷歌的MapReduce編程模型包。該模型包可以把一個應用程序分解為許多并行計算指令,并實現跨計算節點運行海量數據集。得益于Hadoop可靠、高效、可伸縮的數據處理方式,目前其已經成為大數據處理的主流軟件。而且,隨著大數據處理的進一步發展,Hadoop甚至可以為用戶提供速度更快、可重復性更高、更安全的數據探索分析,為自助式大數據分析時代的來臨奠定了技術基礎。比如,在使用SQL-on-Hadoop 引擎與 OLAP-on-Hadoop 技術時,用戶已經很難對傳統數據倉庫和大數據世界進行區分。
此外,Apache Sentry系統的出現則為數據安全性提供了更多保障。該系統可對存儲在Hadoop群集上的數據和元數據實施細化、基于角色的授權。Apache Atlas是數據治理計劃的一部分,它讓組織可以在整個數據生態系統中應用一致的數據分類方法。而Apache Ranger則為 Hadoop提供了集中式安全管理。
得益于嵌入式商業智能,分析已經無處不在
在過去的幾年間,企業已經越來越多地將數據分析融入日常工作流程,且常常將其嵌入其他應用程序(例如 Salesforce)。在規模龐大的中國航空旅游業,有成千上萬的商業航空公司、機場運營商、旅行社以及民航機構依賴中國航信,以便獲取業內商務情報和市場信息。而中國航信每年都對航空市場的活動進行密切監測和分析。其監測范圍從航空乘客流量到旅游網絡平臺,幾乎無所不包。為此,中國航信的分析師密切關注著中國航空旅游業的一舉一動,定期從將近10TB的數據中篩選資料,確認關鍵業績指標,并預測行業發展趨勢。而通過應用商業智能軟件,中國航信的總體工作效率提高了90%,使得其能以更快的速度對數據進行分析,為客戶及行業提供更及時的行業洞見。
2017年,分析將進一步得到普及,就像使用預測性分析在豆瓣FM上推薦音樂,或在京東上推薦商品一樣,之前不曾關注過大數據分析的人員,比如駕駛員、店員等,也可以享受到數據分析給工作帶來的便利。
自助分析擴展至數據準備階段
雖然自助式數據發現已經成為標準,但數據準備依然沒有走出IT和數據專家群體。不過,這一情況將在2017年有所改變。高德納認為“已經顛覆商業智能和分析市場的易用性和敏捷性趨勢同樣會在數據集成領域呈現”。數據解析、JSON和HTML導入以及數據整理之類的普通任務無需再分配給專家完成。不久之后,每個人都將能夠在自己的分析流程中處理此類任務。
人們開始以更加自然的方式處理數據
數據查看方式已經取得了長足的進步。我們已經有了用直觀的拖放界面來取代腳本和數據透視表的技術,這些自然語言界面則成為了商業智能工具箱中的一款利器。作為中國骨干航空運輸公司之一,中國東方航空公司目前在載客量方面已成為中國第二大航空運輸公司,而在市場價值方面則位居世界第三。為了進一步加強市場調研、優化直飛航線并增加營收,中國東方航空公司利用Tableau對多種數據進行分析,并在六個月內開發了九個控制面板,高效快捷地對營銷、各路航線營收等不同領域產生的數據進行分析。在2017,得益于自然語言處理和生成等方面的進步,數據界面將開始變得更加自然,從而讓人們可以使用自然文字和語言與數據交互,讓數據、圖表和儀表板更加易于操作。
物聯網、云和大數據的匯合為自助式分析創造新的機會
物聯網、云和大數據的發展將產生大量結構化與非結構化的數據,并被越來越多地部署到云服務中。僅就中國互聯網BAT三巨頭中的騰訊一家來看,其數據中心的數據存量截止至2016年6月已經超過1000PB,并以每天500TB的速度飛速上升。當然,由于這些數據常常分散在如Hadoop、NoSQL等不同系統,從而給數據訪問與處理帶來不便。而可以無縫連接和合并多種云端托管數據源的分析工具,則能夠讓終端用戶得以輕松對任何地點、任何類型的數據進行探索和可視化,從而幫助其發現物聯網中隱藏的機會。
上海貝爾股份有限公司是全方面電信解決方案的提供商。為了維護網絡安全和穩定,準確迅速地發現和解決潛在問題,上海貝爾股份有限公司專業服務創新總監柳卿博士及其團隊利用Tableau及其它數據處理工具對眾多來源的數據進行分析。受業務性質影響,柳博士的團隊常常要同時處理結構化和非結構化形式的數據。這些數據屬于不同網絡應用,并有6種以上不同的來源。為此,團隊先通過Splunk清理數據,之后導入Tableau進行分析,實現對整個網絡的多角度審視,從而更輕松地對網絡全局進行控制和管理。
數據素養成為未來的一項基礎技能
2016年,領英將商業智能列為有利于求職的最熱門技能之一。而在其于同年發布的基于中國互聯網行業人才大數據分析得出的報告則顯示,數據分析是目前最為稀缺的人才。2017年,隨著大數據自助式分析時代的來臨,數據分析將同Microsoft Word、Excel 和PowerPoint一樣,成為各行業工作人員職業發展過程中的一項重要技能。面對這一發展趨勢,包括清華大學、復旦大學、上海交通大學等知名學府在內的眾多高校相繼成立了個大數據研究學院,積極開展大數據分析領域的科學研究和人才培育。