從2015年開始,大數據就已經被移出了Gartner的新興技術炒作曲線。“Big Data”(大數據)一詞最早于2011年8月出現在Gartner新興技術炒作曲線中,當時Gartner預計大數據技術需要2年到5年才能進入企業的實際生產型應用中。從那以后,大數據就迅速被市場熱炒,最終在2015年徹底在Gartner新興技術炒作曲線中消失。
進入2016年,大數據已經進入了實際的企業生產應用,在切實推動企業向數字化轉型。另一家市場調查公司IDC則強調,在未來5年中,全球的數據驅動型企業將獲得超過2萬億美元的額外收益,分別來自成本降低、生產力提高以及營收增加等三個領域,相應分布在業務運營、客戶體驗、企業創新和運營支撐等方面。
那么,這2萬億的數據價值究竟如何實現?IDC數據分析與信息管理集團副總裁Dan Vesset表示,云化的數據分析與管理解決方案正在推動企業數字化轉型方面起重要作用,未來5年基于云服務的數據分析與管理解決方案的增速將比部署于本地的解決方案高4.5倍。這意味著將有越來越多的企業采用基于云的數據分析與管理服務,大數據時代真的來了!
數據分析隨需應變
根據IDC的觀察,在過去幾年里,關于大數據的熱炒已經顯著降溫。無論在各類會議、論壇還是媒體,討論的重要已經不是數據的“大”或“類型”了。IDC數據顯示,在美國已經有23%的企業部署了Hadoop、32%的企業部署了NoSQL數據庫,他們基本上已經經歷了一輪新型數據管理與分析的技術部署周期,對各類大數據技術的優缺點有了更好的理解。
(上圖:數據驅動型企業將獲得超過2萬億美元的額外收益,IDC 2015)
實際上,今天已經有多種技術選擇,從本地部署到云端部署以及混合部署,加上來自企業內部和外部各類源頭的數據,而用戶自助式數據管理與分析需求也在不斷增長。在一次與IBM的訪談中,Dan Vesset表示現在企業的大數據應用重點已經轉移到數據管理與分析戰略架構上,主要體現在為用戶提供一種可以根據數據需求而隨需應變的數據管理與分析服務。
IDC認為,從現在到2020年,自助式可視化數據探索及數據處理市場將比傳統非自助式解決方案的增長快2.5倍甚至更多。特別是自助式數據獲取與處理服務,將越來越受到市場的重視。原因很簡單,就是對于很多非專業型用戶來說,他們可能是企業里的會計、市場營銷人員、人力資源管理人員甚至是普通的項目人員,但也需要做數據分析與處理。
以云服務的方式提供數據管理與分析服務,這讓各類用戶能夠以低成本、高效率和更快的速度使用上大數據技術。但更為重要的是,基于云服務的大數據管理與分析為用戶提供新型的交互界面與接口,這就是可視化數據管理與分析,特別是能在智能手機等智能終端上隨時“消費”數據與數據分析,這將讓大數據無處不在、無時不在,而這樣才能真正發揮手機的“連接”能力。
基于云服務的數據與分析解決方案把大數據的能力在整個企業范圍內分享,甚至合作伙伴、供應商和客戶也能共享企業大數據,這讓大數據進一步擴展至與企業相關的整個生態環境里。加上物聯網解決方案,讓企業生態內的成員把數據與分析用于自己業務的同時,另一方面也能隨時感知和認知整個企業生態范圍的各種數據動態,把“小”分析與“大”分析連接起來,就能做出更好的商業決策。
把大數據變成云服務
在今年初IBM首席執行官Ginni Rometty公開表示將向認知計算與云計算平臺方向轉型,經過近半年的努力后,形成了開發平臺、云服務以及開源數據工具相結合的云數據服務體系Cloud Data Services,在中國則通過與世紀互聯合作的方式率先實現了云數據庫產品Cloudant的落地。
(IBM Bluemix公有云將于2016年10月19日正式落地中國,更多IBM云數據服務將隨之落地)
實際上,IBM從2004年開始就不斷加大投入,花費了將近200億美金,打造出完善而豐富的大數據分析能力。現在,IBM希望能把這些結構化數據處理、非結構化處理以及大數據分析的能力,通過云服務形式提供給企業。IBM今年提出了被稱為Analytics Platform Services的戰略并成立了相應部門,讓更多用戶通過云端使用IBM的數據服務。
據IBM中國區開發中心大數據以及分析平臺總經理吉燕勇介紹,IBM Cloud Data Services涵蓋了幾乎全部的IBM核心大數據及分析技術能力,可以分為五個方面:數據庫、數據分析、企業內容管理、數據集成和洞察服務。尤其是IBM Cloud Data Services的開源開放平臺,讓企業能夠以自助方式進行數據管理與分析。
在全面性方面,IBM Cloud Data Services提供了25種流行的開源大數據技術以及IBM自己的數據庫產品,其中包括MongoDB、PostgreSQL、Elasticsearch、Redis、RethinkDB、etcd、RabbitMQ、基于開源CouchDB架構的托管數據庫Cloudant、優化的Apache Spark和Hadoop以及IBM自己的DB2、DB2 BLU、dashDB、Informix等等。
吉燕勇表示,IBM云數據服務的核心競爭力在于擁有這些數據庫的源碼,在源碼級層面為用戶提供管理服務(Managed Service,即外包托管服務),這極大降低了企業IT和開發者的負擔。IBM希望能將開源技術與IBM自身在大數據領域的優勢結合在一起,為用戶打造一個相對完善的數據服務環境。
此外,IBM Cloud Data Services是面向企業的平臺級服務,企業用戶可得到全天候的技術支持服務。目前IBM通過美國、英國、中國三個地區的團隊來提供24x7的企業級服務,對企業用戶需求實現快速響應,保障業務連續性。
針對中國市場,IBM通過與世紀互聯合作,在即將于10月推出IBM Bluemix PaaS公有云中落地了Cloud Data Services相關的大數據分析服務,開發者可以在Bluemix平臺上直接調用IBM的數據分析與處理服務。
數據分析十二年
在過去十幾年當中,吉燕勇一直在IBM中國開發中心工作。IBM中國開發中心于1999年成立,專門負責開發IBM自己的核心產品。
(上圖為IBM中國區開發中心大數據以及分析平臺總經理吉燕勇)
2004年之前,吉燕勇主要負責IBM電子商務及相關產品的開發工作。從2004年到2010年之間,為了給國內銀行用戶提供更強的數據庫技術支持,吉燕勇負責組建了IBM中國開發中心的數據庫開發團隊,從事結構化數據解決方案。此外,吉燕勇也負責組建了IBM的非結構化數據和企業內容管理開發團隊。
到2011年的時候,因為IBM收購了SPSS、Cognos等公司,吉燕勇又組建了業務分析團隊。至此,IBM中國開發中心大數據及分析平臺的結構化數據團隊、非結構化數據團隊以及分析團隊就比較完整了。而因為市場對大數據人才的需求越來越強,IBM從2012年開始與西安交大共同設立了IBM大數據分析專業,吉燕勇同時也兼任著該系的主任一職。
近兩年IBM的技術方向變化比較快,重點往認知計算、云平臺方向發展。因此在2016年IBM把負責云端開發的部門獨立出來,吉燕勇負責所有大數據以及分析的云端開發工作。目前,吉燕勇主要負責實現云上的大數據分析能力,而他所在的團隊也負責為IBM全球用戶提供云數據服務運維支持,實現不宕機保障。
吉燕勇表示,IBM希望打造的云數據服務平臺,首先要把IBM所有數據管理與分析技術能力整合進來,然后這些能力相互配合形成整體服務,再以云服務的方式對外輸出。IBM還準備加速研發,在數據科學以及機器學習等方面加強投入,讓云數據服務平臺更加完善。
IBM Cloud Data Services云數據服務落地中國,也是由吉燕勇的團隊牽頭負責。吉燕勇表示,IBM需要適應并遵從中國相關的數據安全法規,在此基礎上加速Cloud Data Services相關服務的落地,同時加大與本地企業的合作力度,盡快解決落地過程中遇到的各種問題,不斷推動服務落地的進程。
吉燕勇強調,中國市場發展非常快,很多地方是跳躍式發展,在大數據方面也是如此。隨著IBM Cloud Data Services云數據服務的推出,把大數據以云服務的方式提供給企業、開發者和最終用戶,只需要在線訂閱云服務即可,而無需安裝復雜的基礎設施和管理軟件,這做到了數據分析隨需應變,也符合中國市場跳躍式發展的特點。
隨著企業和用戶切實用上大數據,真正發揮大數據的價值,大數據時代就真的到來了。(文/寧川)