1、2014年的他(大數據)
2013年被稱為中國大數據的元年,經過近兩年的持續發酵,到2014年底,伴隨著媒體的宣傳、學者的研究、廠商的推廣以及企業的不斷深入探索實踐,大數據在各個行業都已經不少的應用與發展。
舉個例子,目前在微信中有600個左右關于大數據的公眾號,每天產生近2000條譯文或原創文章,這些文章每天將會產生大致200億的閱讀量,全年下來相當于一個人總共看2400億遍張愛玲的《傾城之戀》。(注:真是大數據~)
正是由于全民的大數據熱潮,推動了各個行業及垂直領域對大數據的投融資,如下表所示2014年初到目前(15年2月)全球市場主要的大數據融資咨詢。
締元信網絡數據CEO秦雯在回顧整個大數據行業的發展狀態時提到,2014年最大的變化是從“說大數據”轉變到“用大數據”。這點深有同感,資本的不斷關注帶來的是大數據在各行業的不斷實際深入應用。比如當當網引入了以Ranking Model為代表的消費者行為分析作為推薦系統,透過消費者的點擊行為分析,揭示點擊率高低與消費者身份和商品之間的隱隱聯系,促使銷售額增加1億元。交行通過對海量語音信息進行處理使歷史語音檢索調聽花費的時間 從3~5個工作日縮短為5分鐘,檢索反饋時效低于100毫秒,調聽反饋時效低于1秒。前幾天網絡上的一則新聞,信用卡“套利者”鉆銀行漏洞年賺近千萬,最終也是通過銀行的實施大數據防詐騙監控平臺,通過設定相應的指標來監測每張信用卡,進而實現報警來發現的。
以上僅僅是幾個例子,實際上在2014年各行業都有不少積極的探索及應用,在應用性能管理領域亦是如此。至于究竟什么是應用性能管理?它與大數據相遇能夠摩擦出什么樣的火花,在接下來的章節中與大家探討。
2、2014年的她(應用性能管理)
應用性能管理的英文簡稱為APM,全稱為Application Performance Management。到底是APM?我們首先來一個官方的定義,在wikipedia.org網站上其解釋如下:應用性能管理是指對軟件程序可用性以及性能的監測與管理,應用性能為確保一定程度的服務等級需要關注應用系統問題的檢測與診斷,它是鏈接復雜IT數據與業務價值實現之間的橋梁。
為什么說是2014年的應用性能管理呢?實際上應用性能管理的概念在多年前就有提及,但是新一代的APM在中國發展,可謂說2014年是其元年,正是因為國外相關理念與產品不斷成熟演進、國內互聯網行業的急迫需求才使得這個老概念又有了新的內涵與技術特征。要形象化解釋APM的概念,我們需要溫習兩個概念。
其一:業務,更白話一些來說,就是各行業中需要處理的事務,業務是任何一家企業生存的基礎,因為業務意味著收益,企業經營的最終目標是通過良性的業務運轉帶來合理利潤。
其二:用戶體驗,在互聯網時代產品能否獲得成功,用戶體驗越來越成為關鍵,當用戶使用產品的時候,體驗之旅才真正開始,而這個過程是否愉快,將直接影響到產品的口碑,影響到銷售。從企業產品與服務的層面來講,用戶體驗分為三類,如下圖所示。
在無電子不商務的今天,產品與服務的用戶體驗問題已得到幾乎所有人的認同,性能體驗作為非常基礎的一環其重要性不言而喻。“應用性能質量好壞”與 “業務增長與否”這兩個概念基本上被認作同義詞。期待企業的業務增長,必然要求從用戶的體驗狀況出發,不斷提高關鍵應用的性能和穩定性。
互聯網,尤其是近年來移動互聯網在各個行業的應用迅猛發展,在給企業帶來巨大商機的同時,也帶來了新一輪的技術挑戰。新技術帶來的網絡結構變化以及網絡環境和網絡應用不斷發展帶來的不確定性,極大沖擊了性能的穩定,不斷加深的網絡復雜性使其處于失控的邊緣。在移動互聯網領域,接入方式的多樣化和移動用戶持有的終端設備的多樣化、網絡層次和結構的復雜化給移動網絡業務帶來更為嚴峻的問題,同時隨著移動用戶的增多和成熟,他們對移動互聯網性能的要求也越來越高,人們更加注重整個使用過程的感官與體驗,延遲就意味著故障,這對商家業務影響巨大。
最近的一項消費者調查顯示,60%的用戶會對加載時間超過 3 秒鐘的應用(網站或 App)失去興趣。74%的受調查者表示等待時間不會超過 5 秒鐘,當遇到一個性能表現很差的應用時,1/3 的受訪者表示將轉向競爭對手。在用戶體驗要求如此苛刻的競爭壓力下,購物者的受挫經歷對企業不僅意味著業務的損失,同時也是品牌聲譽的損害。綜上所述,應用系統的性能已經成為制約公司業務發展的瓶頸,很難想象一個響應很慢,體驗很差的系統能夠留住更多的用戶。同時現代應用的復雜度空前增大,影響系統性能因素繁多,給問題發現與定位帶來巨大的挑戰。
3、他和她的相遇(大數據與應用性能管理)
可以說,正是由于多年的擦身而過,在浪漫的2014年,大數據與應用性能管理真正相遇了。而這個相遇實際并非偶然:一方面源于應用性能管理數據的大數據特性,另一方面也因為大數據技術發展帶來的更高層次用戶需求。
首先,應用性能管理數據是天然的大數據,具有明顯大數據4V特征(有點老掉牙,但是必須說),如下圖所示。
根據云智慧(Cloudwise)對其應用性能管理中的數據進行梳理和分析,APM對數據實時處理要求非常高,當系統中的各項性能指標有異常時,需要立即(5S內)對用戶進行告警通知;目前其產品每天數據采集量為720億條,預計在2016年這個數據將達到10萬億條,而這些IT數據涵蓋了用戶端到服務器端的響應時間、JS錯誤、網絡可用率、服務吞吐率、慢查詢、系統進程及磁盤空間利用率等2000種不同類型的性能參數指標。而這些數據本身蘊含著大量的價值,就像是金礦一樣值得我們去開發。如何將系統數據背后的意義講述給企業的管理者、技術人員及運營人員,讓公司基于數據進行有效決策,利用可視化的數據給用戶創造更好的服務體驗——這就是應用性能管理需要解決的重要問題。
那么大數據技術能夠從哪些方面幫助應用性能管理呢?應用性能管理如何利用大數據理念幫助企業解決現實的業務與用戶體驗問題呢?這里先進行預告,而更多的內容將在“價值篇”進行詳細討論。
1、通過對IT性能指標數據的可視化分析,實現對應用性能的最優化管理:不斷提升應用系統的性能與可用性,從而持續提升用戶滿意度,確保業務營收;
2、采集與挖掘分布全國乃至全球的用戶體驗及性能數據,分析改進與優化終端用戶體驗:幫助企業不斷發現與改進真實終端用戶的體驗問題;
3、利用大數據預測及分布式壓測技術,加速系統開發及交付進程:在紛雜的市場需求及競爭壓力下縮短迭代時間,提升代碼開發效率與質量,實現快速構建與持續交付;
4、建立面向業務與ROI的分析模型,規避與減小整體投資風險:幫助企業規避與減小在現有 IT 基礎環境下引入云計算、虛擬化等新技術帶來的技術與財務風險;
5、數據深層次挖掘、細化到組件層級的性能分析:在復雜系統環境中追蹤應用各層次問題(甚至深入代碼層級性能瓶頸),幫助 IT、開發等部門提升工作效率,將重點聚焦在核心工作中;