掘金大數據
隨著移動互聯網的深入滲透以及5G寬帶技術的迅速提升,更多的傳感器、智能設備接入到互聯網,世界正從IT時代進入到DT時代,大數據已成為國家、企業的重要戰略資源。目前全球每天有220萬TB的新數據產生,人類過去兩年所創造的數據量已占人類數據總量的90%。據弗吉尼亞州Falls Church的預測,到2020年,世界上每年產生的數據信息將是現在的4300倍,達到35ZB。這也使IBM全球副總裁兼大中華區軟件集團總經理胡世忠直言:“數據構成了智慧地球的三大元素:物聯化(instrumented)、互聯化(interconnected)和智能化(intelligent),而這三大元素又改變了數據來源、傳送方式和利用方式,帶來了’大數據’這場信息社會的變革。”
大數據更將成為企業賴以生存的生命線,這要求對數據的探索、挖掘不斷深入,包括——產品主數據、銷售等交易數據;客戶、伙伴、供應商等價值鏈生態圈數據。根據美國管理協會(American Management Association, AMA)的研究顯示,已有58%的公司領導者表示分析能力對其組織非常重要,82%的公司領導者認為分析能力將在未來5年內變得更為重要。僅有不到1%的公司領導者認為分析能力在未來五年內對其業務并不重要,這一切都表明,到2020年,分析能力將成為這個商業社會不可或缺的要素。
未來五年分析能力對企業業務的重要性
百萬難求淘金人
“雖然大數據應用的趨勢已勢不可擋,但僅金融領域來看我仍然覺得雷聲大雨點小,有客觀原因也有主觀原因。”廣發銀行信用卡中心首席風險官王玉海對當前市面上炒得如火如荼的各種大數據應用保持著冷靜的思考。
王玉海表示,“首先是金融企業的文化沒有改變。用產業興衰的所謂的基因論來衡量,當上一波的產業浪潮獲勝者鞏固后,不斷鞏固原有的企業文化、思維模式、運營架構,但這些基因并不能代表他會在下一波產業浪潮中獲勝,所以很多銀行安于現有組織架構和組織流程,對新生的、創新的事物有天然的排斥,所即便大家認為金融業是大數據最好的應用領域,但現實是金融業里小數據還沒用好,如何用好大數據?”
(圖:廣發銀行信用卡中心首席風險官王玉海)
“其次是成本和管理因素,不管從人、硬件還是數據結構、數據源,我們還是傳統的模式。但大數據環境下是基于生命周期的數據管理方式,處理碎片式、非結構性的數據。但現實的傳統管理方式并不能適應。對于影像、圖片、音頻的管理大家覺得這很美好,但一旦接觸就發現這個很棘手——非結構的數據用傳統方法管理?更實際的問題是:軟件、硬件的IT基礎設施都沒有成熟,成本更高。傳統銀行每個部門都有硬性的成本控制。在沒有確定的回報下,銀行不敢冒險投入很多財力、人力來開發,這是管理和成本的制約。”
“最后是技術和人才的挑戰。我們傳統的數據庫都是事物型而不是分析型的數據庫,我們習慣于從原數據抓過來,從文本文件變成一個數據倉庫,但大數據下的分析挖掘是另一回事,它要把分析和倉庫分割開來,由于技術原因和傳統的管理架構,造成審批要經過數天、數周,我們不能在數據庫里面實時進行創造性的分析。解決這個問題的辦法則需要更強的技術能力這包括:需要更大的儲存和更強計算能力,也就是我們說的云計算結合Hadoop這種儲存能力。更重要的是熟練的分析型人才,他不僅精通計算機、數學的理論知識,還要對傳統的金融和未來發展更具前瞻性、更有洞察力,同時又有能力作為數據搭建者和分析員,具有這樣能力的人才市面上非常稀缺,我們即便開出一、兩百萬的年薪也一才難求。”
決戰大數據
面對種種不利于大數據新技術成長的土壤,王玉海也不得不承認大數據技術確實能發揮傳統技術以意想不到的效果:“在純信用模型上大數據應用成效是顯而易見的。以廣發銀行為例,我們所有的抵押貸款或者有保障金的借貸關系的壞賬率遠遠高于無抵押的,為什么?首先歸功于我們模型的質量,第二就是在模型評分前提下,我是基于無抵押的話我的警覺性或者風險管控意識更強。”
SAS公司執行副總裁兼首席營銷官Jim Davis向企業網記者介紹:“各國政府開始使用分析工具、軟件開發數據資源。政府希望從一個公民的角度更好的理解公民真正需求,通過追蹤各種重要的信息和數據解決問題,包括經濟、醫療健康以及其他生活各個方面。比如說在菲律賓之前出現了超強臺風海燕,在自然災害中就使用相關技術解決整個救災力量和資源分配問題,以及最先救助那些最需要的人。”
(圖:SAS公司執行副總裁兼首席營銷官Jim Davis)
正如亞信數據戰略發展部總經理張勇所言:“越來越多的企業已經意識到數據是新資產,并開始部署數據收集、加工、管理、分析工具,利用數據分析結果,為企業業務創新提供支撐,并推動企業管理變革、流程再造。這一階段我們稱之為‘大數據1.0’。而2.0時代是部分部署了大數據的企業發現只有自己的數據還不夠,還需要外部數據來豐富已有數據的維度,提高數據分析的精準度。這一階段開始出現數據的聚合,但絕大多數企業的數據“只進不出”,整個行業的數據源有限,不同企業間的數據也因缺少規范而很難流通、交互。3.0階段則會出現大數據平臺,每個企業同時是數據的使用者、提供者。數據的流通、交易不再存在障礙,大數據生態系統也會逐漸成型。而目前,我們處于大數據產業正1.0與2.0之間。”
這引得國際大廠紛紛布局大數據。2009年7月EMC斥資24億美元數據復制解決方案提供商 Data Domain,2010年又收購數據庫軟件供應商Greenplum;2009年IBM花12億美元收購數據分析和統計軟件提供商SPSS;甲骨文(Oracle )2008年就花33億美元收購商業智能解決方案提供商海波龍(Hyperion);惠普(HP)2011年花費 100 億美元收購英國軟件公司Autonomy;微軟也不甘落后,2008年收購了收購數據倉庫產品廠商DATAllegro,即便R語言受到眾多統計學家及大數據愛好者的追捧,然而2015年微軟與Revolution Analytics達成收購協議,收購之后Revolution Analytics表示將持續支持R語言的開源項目并提供給客戶訂閱式的技術支持服務。但不難看出,大數據已成為商業軟、硬件企業和創業公司決戰未來的重要戰場。
在大數據及商業智能領域不得不提的是老牌軟件廠商SAS。對如此劇變的大數據業態,SAS公司總裁Jim Goodnight先生接受D1net記者專訪時表示:“SAS未來的目標是成為Hadoop架構上首選的分析產品供應商。”對于部署了大數據架構的企業,SAS將大量且復雜的精密運算應用到Hadoop集群,基于普通的商用硬件,存儲和處理大數據。SAS支持Hadoop完成整個分析生命周期,包括數據訪問和管理到探索、建模和部署,幫助企業在更短的時間內獲取更多洞察。SAS獨特的內存處理技術讓分析盡可能地去靠近數據,避免數據移動造成的時間浪費。
(圖:SAS公司總裁Jim Goodnight)
“SAS通過SAS/ACCESS® Interface to Hadoop、SAS® In-Memory Statistics for Hadoop、SAS可視化分析(SAS® Visual Analytics)以及SAS高性能分析(SAS® High-Performance Analytics)等一系列基于Hadoop的解決方案及產品將分析的力量與Hadoop相結合,釋放大數據真正的價值。”
“在全球,SAS與Hadoop生態系統中知名公司Cloudera和Hortonworks緊密合作。在中國,SAS與華為結為聯盟合作伙伴,二者合作開發企業級大數據分析平臺FusionInsight。該平臺包括海量數據引擎FusionInsight HD和實時數據處理引擎FusionInsight Stream兩個核心組件,能夠對高達百萬維度的數據進行全量建模,進行實時分析和挖掘。”
亮劍數據大時代
在群雄并起的數據大時代,建立良好的生態圈才是企業基業長青的可靠壁壘。在有R、Spark 、Tableau這樣的后起之秀追趕下,SAS去年擴大了自身戰略合作聯盟,與艾睿電子(Arrow Electronics)簽署了全球經銷商合約。通過艾睿電子遍布北美、歐洲、中東和非洲的授權經銷商網絡,SAS將向世界各地的更多客戶提供產品和解決方案。2014年,艾睿電子幫助SAS聘用和培訓了80家經銷商。
最近SAS宣布成立首個重要OEM聯盟,與東芝全球商業解決方案(Toshiba Global Commerce Solutions)攜手,向零售商提供分析技術。這個聯盟將零售推廣和忠誠度管理系統與商業分析相整合,幫助零售商應對消費者不斷變化的購物行為習慣。這是SAS拓展OEM關系網絡道路上重要的里程碑。
在中國,SAS公司宣布與華為結為聯盟合作伙伴,旨在發揮各自強項,共同打造針對不同行業的大數據解決方案。FusionInsight分析平臺是SAS與華為合作的第一張答卷,在企業的精準營銷、實時決策、客戶維系、數據開放等各種應用場景提供全面的技術保障。迄今為止,FusionInsight已在全球拓展了100多個大數據項目,有40多個項目已經在交付,其中10多個已經在商用。目前的主要應用領域為電信、金融、科研、公安和政府,客戶包括中國工商銀行、中國建設銀行、招商銀行、平安銀行、上海移動,上海聯通等。SAS與華為的共識合作,則是SAS本地市場實踐的重要里程碑。
因此SAS中國區業務在2014財年取得了優異的成績,整體營收增長近18%,實現了連續四年年復合增長率32%的快速增長。SAS與銀行、保險、電信、制造、政府等多個行業的合作更為深入。SAS看到云、Hadoop、移動互聯等多股力量正在推動大數據行業的發展。通過加大研發和創新力度,推出了能與這些新趨勢緊密結合的分析產品。SAS中國的發展重點集中在一、金融服務業,重點在銀行和保險公司;二、制造業;三、政府;四、電信市場這四大領域。
在銀行業,四大銀行都均是SAS的用戶,占有了極高的市場份額。在城商行、農商行也有幾百家規模,被視為SAS新的藍海。保險行業早就走到全面的自由化市場,市場競爭壓力非常大。保險公司在市場營銷方面的投入非常大,對于怎樣用新的渠道,能夠更實時,個性化地推動一些產品和服務,其實做了很多的投入。保險行業在對云計算、大數據、移動互聯方面的需求很強烈。雖然電信行業擁有良好的數據質量和IT基礎設施,但競爭激烈需要更為精細化的管理。今年SAS將把新的可視化分析解決方案提供給電信企業。除了總部外將推到各個省市,通過SAS的直銷團隊去服務,加大與各地集成商合作力度。在制造業,SAS尤其在汽車制造業積累了很多成功的應用案例,從基本生產制造、質量管理一直到銷售預測、庫存優化,很多很高端的分析應用其實在上海通用已經實現了。汽車行業的競爭將越來越激烈,限購之后怎樣開拓新市場,怎樣更有效地進行經營管理,SAS在汽車行業會持續地投入。在高科技制造業,SAS有很多高科技制造業的工廠或者代工合作伙伴都在中國。過去幾年大家大量做傳統的產能擴充或者建基本的應用系統,包括ERP或者供應鏈的管理,接下來會開始更高級的數據應用。因為基礎的信息平臺的基礎打好了,接下來會有很好的增長機會。在政府機構應用方面。SAS在反欺詐反洗錢領域的分析基礎,有優秀產品。各個監管機構,包括稅務、公安、海關,都要偵查出一些團伙,通過SAS的社交媒體分析軟件,就可以有效地防止犯罪和國家收入流失。在這個領域SAS與集成商、合作伙伴的合作會更多。
相信,隨著以阿里巴巴為代表的互聯網金融對中國銀行業的繼續滲透,銀行業將面臨更多來自大數據的挑戰,銀行業要么擁抱大數據要么被大數據所邊緣化。