大數(shù)據(Big data)的浪潮正在席卷神州大地,但企業(yè)對如何落地仍然狐疑。2013年8月6日,Splunk公司在北京舉辦了一場“大數(shù)據如何落地研討會”,為大數(shù)據技術在中國企業(yè)的落地帶來了諸多的前沿觀點、可以參考的實施路徑以及豐富的案例。
大數(shù)據需求強勁
在當前全球經濟形勢下行的背景下,中國的經濟形勢也不甚樂觀,但正因為如此,中國企業(yè)對挖掘大數(shù)據價值的渴求尤為強烈,希望以此提高客戶體驗,促進業(yè)務的增長。根據國內市場研究機構計世資訊的研究,2012年中國大數(shù)據市場增長率為52.4%,市場規(guī)模達到3.2億元。55%的受訪企業(yè)表示,計劃在未來一年內部署大數(shù)據應用。
隨著大數(shù)據的發(fā)展,其應用場景也越來越多,涵蓋從用戶行為分析到安全監(jiān)控、輿情監(jiān)測等等各方面,計世資訊計算機系統(tǒng)研究部總監(jiān)丁震表示,用戶不僅利用大數(shù)據獲取更大的數(shù)據價值,還利用它整合內部的工作流程,提高效率和可控性。
計世資訊計算機系統(tǒng)研究部總監(jiān)丁震
在發(fā)展的過程中,大數(shù)據的需求已經從早期的互聯(lián)網、電商領域轉向金融、電信、政府、能源等諸多傳統(tǒng)的行業(yè)。盡管用戶認為大數(shù)據能夠提高決策和數(shù)據分析的及時性,但丁震指出,用戶實際應用仍十分謹慎,這其中有用戶認識、案例缺乏、引入新技術的風險和經濟環(huán)境等原因。
大數(shù)據價值:從機器數(shù)據開始
針對中國用戶的上述困擾,Splunk帶來了一個完整的解決方案。與一些BI(商業(yè)智能)、數(shù)據倉庫和數(shù)據挖掘廠商的新解決方案著眼點不一樣,Splunk產品營銷副總裁Sanjay Mehta認為,大數(shù)據的落地,可以從機器數(shù)據著手,通過Splunk實時的“引擎”,將已有的數(shù)據組織起來,幫助企業(yè)提高效率,降低成本。
Sanjay Mehta負責開發(fā)與規(guī)劃Splunk以重點市場為目標的核心產品策略,并將該公司的業(yè)務重心引導到了面向大數(shù)據。當前不斷擴展的數(shù)據源主要包括商業(yè)應用程序的數(shù)據、機器生成的數(shù)據和人為生成的數(shù)據,大多數(shù)從BI、數(shù)據挖掘升級的大數(shù)據產品,更多的是關注商業(yè)應用程序的數(shù)據和認為生成的數(shù)據,機器數(shù)據則往往被忽略,但Splunk注意到了這個層面。
Splunk產品營銷副總裁Sanjay Mehta
Splunk定義的機器數(shù)據,包括了文件或者文件目錄、syslog、Windows事件日志、Windows注冊表、Windows性能指標、Unix/Linux日志和指標、文件完整性監(jiān)視、配置文件、OPSEC LEA、Cisco設備日志、IIS日志、Apache日志、WebSphere日志/指標和其他數(shù)據、以及任何其他數(shù)據。
可以說,本來就存在的機器數(shù)據是一團亂糟糟,且不同種類的機器數(shù)據相互不能通氣,發(fā)揮的作用非常有限,但通過整合的大數(shù)據技術,對機器數(shù)據的收集、存儲、分析和展現(xiàn),其結果在應用程序管理、IT運維管理、安全及合規(guī)、web情報、業(yè)務分析和行業(yè)數(shù)據等多個方面,都有廣泛的應用價值。
Sanjay Mehta介紹了Splunk的一系列的案例,例如,幫助百事公司實現(xiàn)了實時運營可視化,百事公司銷售人員使用Splunk手持終端了解銷售狀況,可以看到銷售實時數(shù)據,以確保其銷售工作的效果和效率,所有的數(shù)據來源都是通過基礎架構而來,而非關系型數(shù)據庫;幫助salesforce.com實現(xiàn)全商務領域運營情報,將問題解決率提高96%,為其10多萬家客戶提供更好的體驗……
此外,Sanjay Mehta還分享了Splunk產品用于從電梯運行數(shù)據監(jiān)控中獲得預測信息、通過醫(yī)療設備更好地了解患者狀況以及分析建筑物感應器,以降低能源成本等應用場景。
國內的上海天旦網絡(Netis)和北京華夏威科軟件技術有限公司的代表分別在現(xiàn)場介紹了Splunk大數(shù)據技術在不同行業(yè)的應用。
上海天旦介紹了Splunk在一個網上支付平臺的運維管理工作的支持。華夏威科Splunk產品經理王文雅表示,在國內某大型銀行,通過單一的Splunk平臺,跨平臺收集不同格式的日志,對每天20G的數(shù)據進行收集、管理、實時展示分析,以及建立關聯(lián)、歷史數(shù)據比對等等,大大提高了IT人員對企業(yè)環(huán)境的可見性。而這一切的工作,Splunk Index Server僅僅需要使用2臺4個CPU、4G內存的虛擬機(VM)來支持。
當然,Splunk的案例還有很多。截至目前,Splunk的客戶數(shù)量超過了5600家,分布在全球90多個國家。
其中,中移動、中電信、招行、交行、廣發(fā)、聯(lián)想、東航、支付寶和國美在線等是Splunk在中國地區(qū)的主要客戶——同樣覆蓋了電信、金融、能源、互聯(lián)網等多個行業(yè)。
憑借技術積累和服務經驗,Splunk在大數(shù)據的浪潮到來之際,于2012年4月19日在納斯達克成功上市,2013財年收益達到1989億美元,年復合增長率為91%。此前,還曾傳出IBM欲收購Splunk的傳聞。
Splunk:技術保證效果
Splunk為何能夠適用于如此廣泛的應用場景?Splunk高級銷售工程師崔玥為我們揭秘了Splunk產品背后的技術特色。
Splunk高級銷售工程師崔玥
崔玥表示,Splunk的本質是一個針對機器數(shù)據的搜索引擎,針對所有IT系統(tǒng)和基礎設施數(shù)據,提供數(shù)據搜索、數(shù)據報表和可視化的展現(xiàn)。當然,作為一款軟件,它幾分鐘就可以完成下載和安裝,支持各種主流的操作系統(tǒng)平臺。
作為一個完全整合的大數(shù)據解決方案,Splunk通用的引擎能夠將任何的機器數(shù)據廣泛地索引,并支持任何格式的數(shù)據,而無需進行格式轉換;實時的搜索引擎,帶來了類似于Google的快速搜索結果;而其自主開發(fā)的類似于MapReduce的分布式架構,為系統(tǒng)的可擴展性提供了保證,能夠輕松擴展到支持每天新增上百TB的數(shù)據,配合基于角色的數(shù)據訪問控制,還能夠跨多個數(shù)據中心運行。
由于架構設計的優(yōu)勢,Splunk在提供高可擴展性、易用性和廣泛適用性的同時,對硬件的需求卻幾乎沒有門檻,前述的銀行案例可以證明。
值得一提的是,通過Splunk今年6月份發(fā)布的Hunk產品,組織機構還能夠更快速、更簡單地探索、分析、可視化和分享存儲在Hadoop中的數(shù)據。