大數(shù)據(jù)落地需冷靜
過去的2014年是大數(shù)據(jù)逐漸沉靜下來的一年,大數(shù)據(jù)正慢慢從由舍恩伯格《大數(shù)據(jù)時代》一書所引發(fā)的大眾熱潮中平靜下來,人們開始更加冷靜和理性地來看待和分析大數(shù)據(jù),從最初的“概念”和“熱炒”逐步走向“落地”。在對待大數(shù)據(jù)問題上,企業(yè)用戶顯得更加成熟,更快地適應了大數(shù)據(jù)帶來的“新常態(tài)”,冷靜分析、積極應對。
其實,大數(shù)據(jù)技術最早應用在互聯(lián)網(wǎng)業(yè)務中,互聯(lián)網(wǎng)的特點賦予了這個新興技術在處理個人數(shù)據(jù)方面的優(yōu)勢和長處。互聯(lián)網(wǎng)企業(yè)大膽嘗鮮,最早將大數(shù)據(jù)技術應用于金融市場,開創(chuàng)了新的互聯(lián)網(wǎng)金融服務模式。
如果利用大數(shù)據(jù)做到精準營銷和風險防控,那么金融行業(yè)就能產(chǎn)生更多需求。網(wǎng)絡銀行利用大數(shù)據(jù)能了解優(yōu)質(zhì)客戶在哪里,同時做到很好的風險防控體系,就能確定給哪些人貸款,做大業(yè)務。
而今,大數(shù)據(jù)熱迅速進入各個行業(yè),從處理個人數(shù)據(jù)到處理企業(yè)級數(shù)據(jù),企業(yè)級大數(shù)據(jù)應用潛力無限。電信、電力、交通、衛(wèi)生醫(yī)療等領域如果運用大數(shù)據(jù)同樣能帶來業(yè)務的大提升。
例如,通過大數(shù)據(jù)的精確計算,掌握信號燈的時間長短、車輛轉(zhuǎn)向、設計道路的長短等等,城市交通會更順暢;將各個省市的城鎮(zhèn)醫(yī)療系統(tǒng)、新農(nóng)村合作醫(yī)療系統(tǒng)全部整合起來,實現(xiàn)資源共享,就能獲得個人健康系統(tǒng)、電子病歷數(shù)據(jù),然后利用大數(shù)據(jù)計算出個人患病的可能性和概率,由此衍生出疾病保險等更多險種;通過獲取人們的用電行為信息,應用大數(shù)據(jù)的智能電網(wǎng)就能實現(xiàn)優(yōu)化電的生產(chǎn)、分配以及消耗,電網(wǎng)安全檢測與控制(包括大災難預警與處理、供電與電力調(diào)度決策支持和更準確的用電量預測)、客戶用電行為分析與客戶細分,電力企業(yè)精細化運營管理等多方面,實現(xiàn)更科學的電力需求管理。
這些領域,正是當前可見的大數(shù)據(jù)從個人應用進入企業(yè)級應用的例子。然而,大數(shù)據(jù)在企業(yè)級應用的核心不是簡單分析出有價值的數(shù)據(jù)信息,而是多了一個環(huán)節(jié),對數(shù)據(jù)分析后產(chǎn)生的結果,要轉(zhuǎn)換成企業(yè)自己的產(chǎn)品和服務。
通常認為,大數(shù)據(jù)進入企業(yè)級應用面臨三方面的挑戰(zhàn):
第一,大多數(shù)傳統(tǒng)企業(yè)應用系統(tǒng)沒有大數(shù)據(jù)的技術支撐能力和所需的各種技術人才,需要將底層技術能力變成企業(yè)可以自己控制的應用開發(fā)能力;
第二,大數(shù)據(jù)運用之后對企業(yè)的決策模式是個挑戰(zhàn),需要轉(zhuǎn)變?yōu)楦鶕?jù)數(shù)據(jù)來做決策;
第三,企業(yè)大數(shù)據(jù)除了來自企業(yè)內(nèi)部外,外部的大數(shù)據(jù)也必須集成到大數(shù)據(jù)中心,這就需要有效整合內(nèi)外部數(shù)據(jù),從原來業(yè)務處理模式轉(zhuǎn)換為大數(shù)據(jù)的處理模式。企業(yè)在面臨這些挑戰(zhàn)時,就需要針對這些問題一一應對解決。
大數(shù)據(jù)給人們的生活、工作和思維帶來巨大影響和變化。就科研領域而言,大數(shù)據(jù)有望改變或重構傳統(tǒng)的科學探索和科技創(chuàng)新模式,從而形成某種全新的業(yè)態(tài)。科研數(shù)據(jù)是一種重要的科研資源,數(shù)據(jù)資源、數(shù)據(jù)能力今后將是一個國家或科研機構核心競爭力的重要組成部分和重要體現(xiàn),這正逐漸成為共識。
新的歷史時期,順應大數(shù)據(jù)的發(fā)展潮流,如何更好地開放數(shù)據(jù)成為大家討論的重點。近一兩年來,數(shù)據(jù)立法問題得到越來越多的關注,科學界積極呼吁國家科研主管部門從戰(zhàn)略高度,將之作為國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略的一部分,盡快制定和實施有關法律法規(guī)。
眾所周知,過去,因條塊分隔、局部利益等各種非技術性的壁壘或障礙,以及各種不合理規(guī)則、慣例、機制等的限制,使不同領域、不同學科、不同專業(yè)的數(shù)據(jù)開放和共享難以實現(xiàn)。在大數(shù)據(jù)時代必須通過適當?shù)牧⒎āC制和管理,來解決這些非技術性的壁壘,為實現(xiàn)科研大數(shù)據(jù)的增值掃清障礙。
當然,在數(shù)據(jù)開放和共享的過程中,必須充分考慮到知識產(chǎn)權、數(shù)據(jù)安全等問題,為大數(shù)據(jù)的發(fā)展和應用創(chuàng)造良好的學術、法律和社會環(huán)境。
IT廠商出招顯身手
“今天的環(huán)境,隨著在中國的客戶需要創(chuàng)新的速度發(fā)生很大改變,我們的戰(zhàn)略發(fā)生了很大改變。從為中國制造,‘Made for china’變成了‘Made with China’與中國一起創(chuàng)新。這不是口號,去年開始IBM大幅度開放自己的技術,使得跟中國的產(chǎn)業(yè)結合起來,使得在中國的IT產(chǎn)業(yè)獲得更高的附加價值。”IBM大中華區(qū)首席執(zhí)行總裁錢大群說道。
2014年是IBM大舉向大數(shù)據(jù)、云計算、移動社交轉(zhuǎn)型的一年。IBM與Twitter、騰訊,等新興創(chuàng)新企業(yè)開展合作。在中國,IBM以全新的開放聯(lián)合創(chuàng)新的姿態(tài)面對新環(huán)境。在大數(shù)據(jù)領域,先后與寶信科技、華勝天成、浪潮、用友、數(shù)慧科技、南大通用、正通匯智等本土合作伙伴展開合作,并擁有了包括魯能集團、萬得數(shù)據(jù)、上海虹橋機場、樂友孕嬰童、飛鶴乳業(yè)、驢媽媽、民生銀行、深圳兒童醫(yī)院等各行業(yè)大數(shù)據(jù)客戶。IBM還推出了U100計劃,向100所中國高校捐贈價值1億美元的大數(shù)據(jù)及分析軟件。
《A100》計劃主要發(fā)起者
IBM近期又宣布與香港中文大學市場學系對外貿(mào)易大學國際商學院、西南交大經(jīng)濟管理學院等聯(lián)合推出“百企大數(shù)據(jù)《A100》”計劃,免費為100所擁有B2C數(shù)據(jù)的企業(yè)提供大數(shù)據(jù)分析服務。IBM與慧科科技合作在“開課吧”網(wǎng)站上提供免費的MOOC項目。IBM在大數(shù)據(jù)領域的努力和成就得到業(yè)界的廣泛認可。
2014年,Gartner,F(xiàn)orrester和IDC數(shù)據(jù)/分析軟件和服務測評中,IBM都居于領導地位。據(jù)最近發(fā)布的IBM 2014年財報,IBM在云計算、大數(shù)據(jù)、移動、社交、安全等領域整體增長了近16%,達250億美元,占IBM整體營收的27%。其中,作為IBM轉(zhuǎn)型的核心戰(zhàn)略,大數(shù)據(jù)業(yè)務增長了7%,營收達170億美元。
在過去的一年,IBM通過授權軟硬件技術和工具,正在幫助中國開發(fā)出自主創(chuàng)新的處理器芯片、服務器系統(tǒng)、數(shù)據(jù)庫產(chǎn)品、中間件產(chǎn)品和操作系統(tǒng),技術開放戰(zhàn)略獲得了工信部以及江蘇省、北京市等政府的支持。
IBM大中華區(qū)數(shù)據(jù)與分析事業(yè)部總經(jīng)理鐘澤敏表示:“IBM將繼續(xù)踐行‘Made With China’的承諾,通過全新的開放協(xié)作的模式,與各界合作伙伴一道,通過IBM大數(shù)據(jù)能力支持行業(yè)實現(xiàn)轉(zhuǎn)型升級,與合作伙伴共建中國大數(shù)據(jù)發(fā)展健康生態(tài)。”
去年,IBM啟動科技合作伙伴計劃以來,以技術共享、聯(lián)合創(chuàng)新中心等多種合作模式,利用IBM的全球化視野、專業(yè)研發(fā)人才、行業(yè)洞察等,幫助本土合作伙伴突破創(chuàng)新束縛,以協(xié)作創(chuàng)新賦能行業(yè)創(chuàng)新。尤其在環(huán)保、交通、城鎮(zhèn)化等民生領域,取得了卓越成就。
為了助力解決可持續(xù)發(fā)展的三大難題—大氣污染防治、可再生能源高效利用和企業(yè)節(jié)能減排,IBM推出了一個長達十年的計劃—綠色地平線”(Green Horizon) ,利用IBM的大數(shù)據(jù)分析和認知計算科技來進行北京地區(qū)的霧霾預報和應對建議。目前這個項目已經(jīng)將霧霾的預報時間從之前的24小時提升到72小時,精度從之前的100平方公里提升到1平方公里,將能夠為首都地區(qū)最終應對霧霾挑戰(zhàn)提供重要支持。同樣的科技,在行業(yè)和智慧城市建設當中都具有廣闊的應用前景。
交通是城市發(fā)展的命脈,在各地智慧城市建設過程中,智慧交通都處于非常重要的位置。管好交通,需要同時管好車和路。利用車聯(lián)網(wǎng)技術打通車輛制造、銷售、服務、管理每個單元,達到對車輛的有效管理;通過智能交通技術,特別是大數(shù)據(jù)與分析優(yōu)化來管理套牌車輛監(jiān)察、疏通擁堵,提升車輛通行效率,這些是我們共同關心的話題。
車聯(lián)網(wǎng)和智能交通都呈現(xiàn)數(shù)據(jù)量巨大尤其是非結構化數(shù)據(jù)大且數(shù)據(jù)分布廣的特點,傳統(tǒng)解決方案對諸如地理位置數(shù)據(jù)、圖像數(shù)據(jù)都無法有效快速的支持。寶信與IBM正在合力應對這些交通發(fā)展難題,打造智能交通與優(yōu)化的車聯(lián)網(wǎng)方案。
上海寶信軟件股份有限公司研究開發(fā)部總經(jīng)理 董文生
上海寶信軟件研發(fā)部總經(jīng)理董文生表示:“IBM擁有非常多業(yè)界頂尖的大數(shù)據(jù)分析工具和模型,比如Cloudant可以實時分析多類型復雜數(shù)據(jù),通過它可以實現(xiàn)諸如套牌車輛識別等艱巨的任務。相信我們的合作一定會在不久的將來為智慧城市建設作出貢獻,而且這個過程不會太遙遠。”
城鄉(xiāng)規(guī)劃對于中國的城鎮(zhèn)化建設發(fā)展至關重要。城鎮(zhèn)變遷所積累的歷史文獻、影像資料等海量信息,以及多部門協(xié)調(diào)所造成的復雜流程是當前城鄉(xiāng)規(guī)劃行業(yè)面臨的兩大挑戰(zhàn)。數(shù)慧科技董事長元哲起表示:“數(shù)慧與IBM正在攜手,利用大數(shù)據(jù)與分析構建新一代城鄉(xiāng)規(guī)劃業(yè)務處理系統(tǒng),幫助相關部門應對復雜數(shù)據(jù),簡化流程,提升協(xié)作,推進城市的可持續(xù)性發(fā)展。”
IBM中國開發(fā)中心信息管理總經(jīng)理 朱輝
IBM中國開發(fā)中心信息管理總經(jīng)理朱輝表示:“我們IBM當然一如既往的是技術提供方,在這方面每年以幾十億美元的投入,未來將這些新的方向轉(zhuǎn)。同時我們自己作為一家傳統(tǒng)的IT技術的供應商,我們也在做轉(zhuǎn)型,向云、大數(shù)據(jù)分析、移動、社交這幾個方向轉(zhuǎn)型。我們轉(zhuǎn)的過程當中,意味著我們轉(zhuǎn)向?qū)Ξa(chǎn)品研發(fā)的投入,但是我們更重要的一個轉(zhuǎn)變是以一種開放的、合作的態(tài)度,來跟我們合作伙伴和我們的傳統(tǒng)客戶包括新的客戶一起做企業(yè)的轉(zhuǎn)型發(fā)展。”
IBM大數(shù)據(jù)與分析業(yè)務取得的成功,源于IBM多年來對這一領域的持續(xù)不斷的投入。目前為止,IBM已在分析領域投入250億美元,先后發(fā)起了包括Cognos, SPSS、ILOG、Algo、i2等30多起收購,其中,2007年IBM斥資50億美元收購加拿大商業(yè)智能軟件商Cognos是迄今為止IBM單筆交易最大的收購。IBM全球共有15000個分析顧問和超過400位數(shù)學科學家,在三大洲共擁有9個分析解決方案中心,其中,中國西安實驗室著力分析領域的研發(fā),以SPSS為核心發(fā)展成為全球分析軟件實驗室。
IBM每年都會新產(chǎn)生500多個與分析預測相關的專利。位于中國的IBM中國開發(fā)中心和IBM中國研究院為IBM與中國企業(yè)和合作伙伴的合作提供重要的支持。
作為認知計算的引領者,四年前,IBM沃森在《危險邊緣》(Jeopardy!)節(jié)目的一場特殊競賽中徹底擊敗兩名極為聰明的真人選手,2014年,IBM投資10億美元成立Watson集團。此后IBM一直不懈地努力將沃森集成到企業(yè)的應用中。2014年,IBM公司舉行了沃森應用開發(fā)人員競賽。一名優(yōu)勝者利用沃森制作了一只恐龍智能玩具,沃森的認知計算能力可以了解與其互動的每個孩子,并按照孩子的年齡和興趣定制互動內(nèi)容。
此外,被戲稱為“大廚”的Watson不僅能通過學習掌握35000多種經(jīng)典食譜,分析海量食材配搭,結合化學、營養(yǎng)學等方面數(shù)據(jù),根據(jù)現(xiàn)場食客提出的需求為食客定制食譜。更在金融、零售、醫(yī)療領域有所應用,并對行業(yè)產(chǎn)生深遠影響。
除了Watson的前瞻性,IBM大數(shù)據(jù)與分析的優(yōu)勢還體現(xiàn)在:引領行業(yè)認知計算,自然語言理解、機器學習能力,領先的數(shù)據(jù)安全、保護、風險管理和反欺詐能力,業(yè)界最完善的大數(shù)據(jù)與分析解決方案組合以及對行業(yè)業(yè)務深入的了解。在IBM整體轉(zhuǎn)型的背景下,處于戰(zhàn)略核心的大數(shù)據(jù)將不斷與云計算、社交、移動整合,為企業(yè)提供綜合能力。
在2014年落下帷幕的第20屆世界杯決賽中,德國隊最終憑借格策在加時賽中的進球,1:0擊敗阿根廷,時隔24年后再次捧起大力神杯時,SAP的名字卻被不斷被提及。原來德國國家隊除了無可比擬的實力和良好的競技狀態(tài),另外還利用了大數(shù)據(jù)來做分析,這項技術的應用基于德國國家隊在世界杯與SAP合作,利用數(shù)據(jù)分析,德國國家隊可以發(fā)現(xiàn)并評估每場比賽的主要狀況,從而提升球員和球隊的成績,也許德國世界杯奪冠早已經(jīng)心中有數(shù)。
德國國家足球隊教練尤阿希姆·勒夫(Joachim L w)帶領他的球隊在半決賽上7:1大勝巴西已經(jīng)刷新了歷史,而如今大力神杯無疑為他們“巴西之征”劃上了一個完美的句號。再完美的計劃也無法確保絕對的成功。在足球賽場上,運氣經(jīng)常左右一個球隊晉級與否。但是,憑借全新的思路和想法,能將不確定因素帶來的負面影響降至最低。
在巴西,德國足球協(xié)會(DFB)力求每一個細節(jié)都盡善盡美。無論是選擇和建設德國的世界杯訓練營Campo Bahia;還是借鑒里約熱內(nèi)盧最受歡迎的俱樂部弗拉門戈隊服,設計德國隊客場紅黑色新隊服,這些細節(jié)都經(jīng)過德國足協(xié)的深思熟慮。但很重要的一點,德國國家隊也從德國足協(xié)與SAP共同創(chuàng)新的技術中受益匪淺。
借助SAP Match Insights和SAP HANA,德國隊教練簡化了球隊訓練,進而提升了球隊表現(xiàn)。這不僅讓精彩的世界杯是魅力四射,也為全世界的球迷獻上了一場頂級視覺盛宴。現(xiàn)在,比埃爾霍夫已經(jīng)開始考慮奪冠后下一步舉措。
SAP巴西分公司此前與德國足協(xié)(DFB)在 Campo Bahia 召開聯(lián)合新聞發(fā)布會,重申了雙方通過推出 SAP Match Insights 足球解決方案提高足球運動水平的決心。
據(jù)介紹,德國足協(xié)與SAP的合作之旅起源自2013年。當時,德國隊領隊奧利弗·比埃霍夫(Oliver Bierhoff)就在球員更衣室里展開了一番“市場調(diào)查”。他在調(diào)查中發(fā)現(xiàn),球員更喜愛通過數(shù)字平臺溝通。因為溝通是比賽準備階段最重要的環(huán)節(jié)之一,于是比埃爾霍夫委托SAP開發(fā)一款應用,旨在幫助球隊溝通日程信息,以及了解競爭對手的數(shù)據(jù)。
SAP成功開發(fā)了一款基于SAP HANA的SAP Match Insights應用。該應用能夠同步足球播報員播報的數(shù)據(jù)與球場視頻片段所捕獲的數(shù)據(jù),這有利于教練更輕松地識別比賽中的關鍵時刻。比埃爾霍夫?qū)AP Match Insights的功能非常滿意,因此他希望SAP進一步完善該解決方案,幫助德國隊征戰(zhàn)巴西世界杯。
在短短 6 個星期內(nèi),SAP 進一步開發(fā)了 SAP Match Insights 的功能,使教練、工作人員和球員均能有效利用數(shù)據(jù)。球員和教練很快便對 SAP Match Insights 愛不釋手。德國足協(xié)還在訓練中心的休息室架起了大尺寸的觸摸屏,以便球員和教練操作。最重要的是,他們還能將應用下載到移動設備上,這樣球隊就能隨時隨地獲取數(shù)據(jù)。
該解決方案是 SAP和德國足協(xié)聯(lián)合創(chuàng)新項目的成果,它基于 SAP HANA 平臺運行,旨在為訓練、備戰(zhàn)和比賽情況的分析工作提供便利。此外,該解決方案還可以協(xié)助教練和球探處理海量數(shù)據(jù),發(fā)現(xiàn)并評估每場比賽的主要狀況,從而提升球員和球隊的成績。
SAP和德國國家足球隊主教練聯(lián)合創(chuàng)新項目的目標是打造一款創(chuàng)新解決方案,幫助球員提升賽場表現(xiàn),為更多的比賽做好準備。按照設想,SAP Match Insights 會為球員和教練提供一個簡單的用戶界面,幫助雙方開展互動性更強的對話,了解球隊狀況,為后續(xù)比賽做好準備。
身為SAP 品牌大使的德國國家足球隊經(jīng)理比埃爾霍夫評價稱:“SAP 的參與改變了教練、隊員、球迷和媒體的足球體驗。設想一下:10個球員用3個球進行有球訓練,十分鐘就能產(chǎn)生超過700個數(shù)據(jù)點,這個數(shù)字是多么龐大。然而,SAP HANA 可以實時處理這些數(shù)據(jù)。在 SAP 的協(xié)助下,我們球隊可以實時分析這些海量數(shù)據(jù),從而制定培訓計劃并備戰(zhàn)下場比賽。”
德國國家隊將在早期適應階段利用 SAP Match Insights 備戰(zhàn),并在巴西世界杯比賽期間利用該解決方案進行賽后分析。SAP Match Insights 豐富了SAP 面向體育和娛樂行業(yè)的產(chǎn)品組合,預計不久的將來其他俱樂部和足協(xié)也能使用這一解決方案。
比埃爾霍夫還表示:“現(xiàn)今,每支運動隊都在尋找創(chuàng)新方法以求獲得超越對手的競爭優(yōu)勢。我們德國隊是世界上最成功的球隊之一。德國足協(xié)也一直致力于向德國國家隊提供最先進的技術來提升球隊成績。SAP 的產(chǎn)品完全符合這些要求。”
SAP Match Insights 還能為媒體帶來諸多裨益,支持他們交付更有依據(jù)的評論。據(jù)SAP公司高級副總裁兼體育和娛樂行業(yè)應用與創(chuàng)新負責人Fadi Naoum介紹:“大數(shù)據(jù)是一項絕佳資源,借助它,教練和球員能夠?qū)⑿畔⑷谌氡尘把芯浚⒌贸雒髦墙Y論,從而優(yōu)化球隊的訓練方法和戰(zhàn)術。現(xiàn)在是時候讓體育記者和球迷們也能獲取此類信息了。”
SAP 巴西研究院(SAP Labs in Brazil)的總經(jīng)理 Stefan Wagner 表示:“世界體育運動一直在發(fā)生變化,而且技術創(chuàng)新正在滲透到各個領域,其中包括球迷體驗、球員表現(xiàn)監(jiān)控、球隊管理、票務以及賽場運營。德國足協(xié)非常愿意引領這場行業(yè)變革。在 SAP 解決方案的支持下,我們共同為這場變革做好了充分準備,必將迎來一個成功的世界杯之旅。”
甲骨文公司也不示弱,近日宣布推出新的大數(shù)據(jù)解決方案,它使信息訪問和發(fā)掘更加簡化,讓客戶能夠快速地把數(shù)據(jù)轉(zhuǎn)變成業(yè)務價值。新的解決方案包括Oracle Big Data Discovery、Oracle GoldenGate for Big Data、Oracle Big Data SQL 1.1和Oracle NoSQL Database 3.2.5。這些新產(chǎn)品進一步提升了企業(yè)大數(shù)據(jù)愿景,真正將Hadoop、NoSQL和SQL技術協(xié)同起來,無論在公有云、私有云還是內(nèi)部部署的基礎設施模式下,都能實現(xiàn)安全部署。
從大數(shù)據(jù)中獲取價值的關鍵在于選取合適的工具來遷移和存儲數(shù)據(jù),進而有效地獲取新的洞察。為了將洞察轉(zhuǎn)化為可執(zhí)行的操作,新的數(shù)據(jù)必須與現(xiàn)有數(shù)據(jù)、基礎設施、應用和流程進行安全集成。
Oracle提供的解決方案可無縫地協(xié)同工作,幫助企業(yè)以更快的速度、更低的成本和風險開發(fā)大數(shù)據(jù)。這些解決方案讓客戶安全地訪問Hadoop、NoSQL和關系型數(shù)據(jù)庫,同時輕松、經(jīng)濟地對大量不同的數(shù)據(jù)集進行分析。
IDC業(yè)務分析研究副總裁Dan Vesset表示:“單一的技術類型再也無法滿足各種類型的分析應用場景。同時,針對一系列不相關項目的數(shù)據(jù)管理和分析將導致企業(yè)IT陷入不可控制的困境并面臨不必要的風險。根據(jù)IDC的預測,到2017年,統(tǒng)一的數(shù)據(jù)平臺架構將成為企業(yè)大數(shù)據(jù)和分析戰(zhàn)略的基礎,這種統(tǒng)一化的趨勢將出現(xiàn)在信息管理、分析和搜索技術多個層面。”
甲骨文公司大數(shù)據(jù)副總裁Neil Mendelson表示:“數(shù)據(jù)是一種新型的資產(chǎn),企業(yè)必須對它們的數(shù)據(jù)資本進行戰(zhàn)略性的投資。Oracle為客戶提供了集成化的平臺,以幫助簡化所有的數(shù)據(jù)訪問,發(fā)現(xiàn)新的洞察,實時預測結果,并確保數(shù)據(jù)的有效管理和安全性。”
新的Oracle大數(shù)據(jù)解決方案可無縫運行在近期發(fā)布的Oracle大數(shù)據(jù)機X5(Oracle Big Data Appliance X5)和Oracle Exadata數(shù)據(jù)庫云服務器X5(Oracle Exadata Database Machine X5)上。這些解決方案結合在一起,可為企業(yè)提供全面且經(jīng)濟的平臺,以便于訪問、發(fā)現(xiàn)、管理和確保大數(shù)據(jù)的實現(xiàn)。
最新發(fā)布的大數(shù)據(jù)創(chuàng)新成果具體包括:
Oracle Big Data Discovery是“可視化的Hadoop”,也是面向大數(shù)據(jù)洞察的,集發(fā)現(xiàn)、探索、轉(zhuǎn)變、挖掘和分享為一體的端到端產(chǎn)品。大數(shù)據(jù)資產(chǎn)將被企業(yè)內(nèi)更多的業(yè)務分析師利用,幫助減少風險并加速大數(shù)據(jù)項目的價值轉(zhuǎn)化。
Oracle GoldenGate for Big Data是一個基于Hadoop技術的產(chǎn)品,能讓客戶從異構交易型系統(tǒng)中將實時數(shù)據(jù)傳入大數(shù)據(jù)系統(tǒng)中,目標包括Apache Hadoop、Apache Hive、Apache HBase和Apache Flume。通過把現(xiàn)有實時的架構合并到大數(shù)據(jù)解決方案中,客戶能夠強化其數(shù)據(jù)分析項目,同時確保其大數(shù)據(jù)庫與生產(chǎn)系統(tǒng)時刻保持一致。
Oracle Big Data SQL 1.1將Oracle SQL拓展至Hadoop和NoSQL,同時擁有與Oracle數(shù)據(jù)庫一樣的安全性。它通過一條Oracle SQL語句的快速查詢,即可在Hadoop、NoSQL和Oracle數(shù)據(jù)庫中透明地訪問所有數(shù)據(jù)。Oracle Big Data SQL 1.1將Hadoop和Oracle數(shù)據(jù)庫之間的集成變得更加緊密,且查詢性能較此前的版本提高了40%。
Oracle NoSQL Database 3.2.5是一個適應性解決方案,能夠讓開發(fā)人員創(chuàng)建高性能的新一代應用。該最新版本提供了可預測的低延遲,RESTful API和基于Thrift的C API,并與Oracle大數(shù)據(jù)平臺實現(xiàn)了集成。基于Oracle Big Data SQL,Oracle NoSQL Database 3.2.5還支持數(shù)據(jù)定義語言(DDL),使得用SQL來查詢NoSQL數(shù)據(jù)變得更加容易。
Oracle Big Data Discovery現(xiàn)已上市,利用Hadoop使用戶通過單一產(chǎn)品即可快速、輕松地將原始數(shù)據(jù)轉(zhuǎn)變成可執(zhí)行的業(yè)務洞察。
像在線購物一樣尋找和探索大數(shù)據(jù):Oracle Big Data Discovery提供了令人矚目的視覺界面,以幫助在Hadoop中發(fā)現(xiàn)和探索原始數(shù)據(jù)。它類似于便箋本一樣,可揭示數(shù)據(jù)屬性與數(shù)據(jù)組合之間的統(tǒng)計相關性,進而評估該數(shù)據(jù)是否具有潛力以及是否值得進一步研究。通過常見的導航欄及強大的搜索功能,用戶可輕松瀏覽交互性的可視化數(shù)據(jù)目錄。
大規(guī)模轉(zhuǎn)化并豐富數(shù)據(jù):使用Hadoop的原始數(shù)據(jù)進行分析之前需要一系列的準備工作。Oracle Big Data Discovery通過一個直觀的類似電子表格的方式,縮短了冗長的準備周期,同時簡化了數(shù)據(jù)矛盾。用戶無需更換工具或者書寫編碼,即可增強數(shù)據(jù)可視化,從而將更多的時間投入在數(shù)據(jù)分析上。
挖掘和分享以發(fā)現(xiàn)新價值:數(shù)據(jù)的挖掘和分析與數(shù)據(jù)準備需要用不同的工具。Oracle Big Data Discovery讓用戶能夠無縫地從數(shù)據(jù)準備遷移到數(shù)據(jù)分析,只需一次點擊即可分享數(shù)據(jù)洞察。用戶利用數(shù)據(jù)結果加強合作,將原數(shù)據(jù)集傳回Hadoop,還可在如Pig、Hive和 Python等其他工具中進一步使用數(shù)據(jù)結果。
將大數(shù)據(jù)訪問權限開放給更多職能團隊:大數(shù)據(jù)通常只掌握在一小部分數(shù)據(jù)科學家手中,而這一群體掌握著豐富的技術能力、人才稀缺且人力成本高。Oracle Big Data Discovery使得大數(shù)據(jù)的管理更加簡單,并可讓包括分析團隊和業(yè)務用戶在內(nèi)的更多人員輕松訪問。它還集成了現(xiàn)有的大數(shù)據(jù)工具,讓企業(yè)能夠輕松地擴展其大數(shù)據(jù)團隊,并從其投入的人力資本和數(shù)據(jù)資產(chǎn)中獲得最大價值。
大數(shù)據(jù)應用“接地氣”
國際經(jīng)驗表明,公共安全問題大概是在人均GDP3000~5000美元開始發(fā)生的,也就是說一個發(fā)展中國家人均GDP達到3000~5000美元進入到城市公共安全事件高發(fā)期。所以中國在2014年GDP已經(jīng)達到7000多美元。國際上公認,隨著經(jīng)濟發(fā)展反而進入了一個群體事件、公眾事件、自然災害的敏感高發(fā)期。
北京正通匯智科技有限公司郭常杰介紹,過去五年,中國年均因為城市公共安全、自然災害等事件產(chǎn)生損失大概是9000億元,達到中國GDP的3.5%左右。
這個比例和發(fā)達國家相比是它們的2倍到3倍。還有一個數(shù)字更加觸目驚心,每年因為公共安全事件導致死亡人數(shù)接近20萬人。這里面主要是自然災害、事故災難,尤其是安全生產(chǎn)相關事故、公共衛(wèi)生災害,傳染病或者突發(fā)性疾病、社會安全等等。
看到這些數(shù)字和這些情況大家就知道,中國城市的公共安全發(fā)展面臨的形勢是非常嚴峻的。對于做信息化的人,城市的公共安全和社會的公共安全和應急,不是靠信息化技術能夠解決的,更多是靠國家體制和管理理念。
但信息化技術能夠帶來什么呢?首先是物聯(lián)網(wǎng)、海量數(shù)據(jù)處理、智能分析優(yōu)化、移動互聯(lián)網(wǎng)、云計算,這些技術能夠幫助我們的城市安全和應急管理變得更加有效率,變得更加智慧,變得更加能夠幫助政府完成它自己的使命。那么什么叫“智慧的城市安全”或者什么叫“智慧城市的應急”?
郭常杰是從兩個維度中考慮的:一個維度是從真正提升政府面對公共突發(fā)事件的應急和處置能力的效率來講這一點包括三條:第一,需要有實時監(jiān)測預警能力防患未然,能夠預測減少事故發(fā)生的可能性。
舉個例子,中國每個城市每個省的辦公廳下都有應急辦,應急辦做的事情是“平戰(zhàn)”結合,平時準備好物資,隱患排查,出了問題之后,做各種應急指揮、調(diào)度、人員疏散等等。公共的突發(fā)事件,可能有70%、80%的事件,除了自然災害的事件,事實上如果能提前預測并且提前發(fā)現(xiàn)問題,然后去解決,把它消滅在萌芽中的話,就不用等事件發(fā)生造成傷害,并且手忙腳亂。
怎么實現(xiàn)這一點呢?郭常杰做了一個總結:
第一個是海量信息采集,所謂采集就是要感知到無論是管的人還是城市的組件,要有新方法采集數(shù)據(jù)并且實時監(jiān)控,更多采用物聯(lián)網(wǎng)、傳感器、移動互聯(lián)網(wǎng)技術。
第二個是實時監(jiān)測預警。數(shù)據(jù)采集到之后,要有能力進行分析、挖掘,產(chǎn)生很多相關的模型。
第三個是出現(xiàn)事故后也有相關的后果分析模型。這兩個更加依賴于大數(shù)據(jù)和相關分析能力。
從處理一個事件數(shù)據(jù)角度來看大概是這樣的流程,首先選擇監(jiān)測什么樣的數(shù)據(jù)源,這個數(shù)據(jù)源是廣義的,包含了在化工廠的罐子,包括煤礦,包括人,而且還包括從很多系統(tǒng)里整合進來的數(shù)據(jù)。首先要確定數(shù)據(jù)源,數(shù)據(jù)來了之后要定義最關心的事件,從紛繁的數(shù)據(jù)終抽取最關鍵的數(shù)據(jù)指標。
通過數(shù)據(jù)預測或者后果分析模型得出Insight或者洞察力,通過展示的能力給領導、決策人員、執(zhí)行人員來輔助,幫助他在事后做后果評估分析。這個流程中很多是傳統(tǒng)的系統(tǒng)整合、集成、業(yè)務流程的編制,其中稱得上是“智慧”或者“大腦”的是針對不同行業(yè)不同場景下的監(jiān)測預警和后果分析模型,放在不同的行業(yè)這些模型變化很大,但是思維和理念一樣。
舉例來看,北京地鐵大概有300多個站,現(xiàn)在北京市30個換乘站或者人流特別大的站,在前端的站臺的出入口裝上激光掃描還有攝像頭數(shù)人頭,然后能夠判斷這30個站每天任何一個時間點進出站數(shù) 和客流數(shù)。通過站、線,整個地鐵網(wǎng)絡送到北京市交通委,北京市交通委拿到這30個站的信息馬上能夠預測出全網(wǎng)這30多個站每一條線單向雙向或者換乘的各種情況。這是通過數(shù)學模型的判斷。
同時可以預測出短程、長程,短程是15分鐘時間里,哪些站更擁擠,哪些站人更少一些,通過這個做區(qū)間車的調(diào)度、應急的疏散等等。這是國內(nèi)通過大數(shù)據(jù)分析做的一些事情。
例如,北京市安監(jiān)局,把北京的4個煤礦、6個地面礦山、1000多個加油站、60多家央企(化工和工業(yè)企業(yè))放在一起,實時裝了3萬多個傳感器,對這6000多個危險源做實時監(jiān)控、做數(shù)據(jù)分析。
最典型的例子是,地面礦山都有洗礦用的大壩,因此潰壩的預防就非常重要,一旦潰壩下游被淹沒,就會造成很多的損失,甚至給人員生命造成威脅。但是,IBM能夠通過地質(zhì)安全和實時互聯(lián)網(wǎng)上的各種傳感器可以評估出風險級別,產(chǎn)生各種預警,可以做到事先處理。
未來方向需把握
互聯(lián)網(wǎng)新概念層出不窮,在云計算,物聯(lián)網(wǎng)火熱之后,工業(yè)4.0在2014年受到越來越多的關注,并持續(xù)火熱。
同時,在工業(yè)4.0時代,制造企業(yè)的數(shù)據(jù)將會呈現(xiàn)爆炸式增長態(tài)勢。隨著信息物理系統(tǒng)(CPS)的推廣、智能裝備和終端的普及以及各種各樣傳感器的使用,會帶來無所不在的感知和無所不在的連接,所有的生產(chǎn)裝備、感知設備、聯(lián)網(wǎng)終端,包括生產(chǎn)者本身都在源源不斷地產(chǎn)生數(shù)據(jù),這些數(shù)據(jù)將會滲透到企業(yè)運營、價值鏈乃至產(chǎn)品的整個生命周期,是工業(yè)4.0和制造革命的基石。
那么如何來處理或者正確對待工業(yè)4.0帶來的數(shù)據(jù)問題呢?
嚴格來說,按照大數(shù)據(jù)定義為“每天產(chǎn)生的數(shù)據(jù)量達到1T”來看,企業(yè)管理信息網(wǎng)中(ERP/PDM/CRM/HR等)的數(shù)據(jù)都不算大數(shù)據(jù),所以很多制造企業(yè)都感覺大數(shù)據(jù)分析不夠接地氣,但是通過傳感器隨時隨地采集到的生產(chǎn)設備的運行數(shù)據(jù)、產(chǎn)品運行過程中產(chǎn)生的數(shù)據(jù)(如車聯(lián)網(wǎng)收集到的車輛運行數(shù)據(jù))可以稱得上大數(shù)據(jù),有了這些大數(shù)據(jù),我們需要的就是建模、分析加以利用。這樣大數(shù)據(jù)分析就能夠很好地幫助企業(yè)、提升企業(yè)。
總體來說,目前工業(yè)4.0關注的企業(yè)數(shù)據(jù)分為四類:
1.產(chǎn)品相關的數(shù)據(jù),俗稱企業(yè)主數(shù)據(jù);
2.運營數(shù)據(jù),一般稱為交易數(shù)據(jù)
3.整個價值鏈上的數(shù)據(jù),如供應商、分銷商、客戶等數(shù)據(jù),也是屬于企業(yè)主數(shù)據(jù)管理的范疇;
4.對企業(yè)經(jīng)營分析有價值的外部數(shù)據(jù)。
產(chǎn)品數(shù)據(jù),包括設計、建模、工藝、加工、測試、維護、產(chǎn)品結構、零部件配置關系、變更記錄等數(shù)據(jù)。產(chǎn)品的各種數(shù)據(jù)被記錄、傳輸、處理和加工,使得產(chǎn)品全生命周期管理成為可能,也為滿足個性化的產(chǎn)品需求提供了條件。
運營數(shù)據(jù),運營包括組織結構、業(yè)務管理、生產(chǎn)設備、市場營銷、質(zhì)量控制、生產(chǎn)、采購、庫存、目標計劃、電子商務等數(shù)據(jù)。工業(yè)生產(chǎn)過程的無所不在的傳感、連接,帶來了無所不在的數(shù)據(jù),這些數(shù)據(jù)會創(chuàng)新企業(yè)的研發(fā)、生產(chǎn)、運營、營銷和管理方式。
價值鏈數(shù)據(jù),包括客戶、供應商、合作伙伴等數(shù)據(jù)。企業(yè)在當前全球化的經(jīng)濟環(huán)境中參與競爭,需要全面地了解技術開發(fā)、生產(chǎn)作業(yè)、采購銷售、服務、內(nèi)外部后勤等環(huán)節(jié)的競爭力要素。大數(shù)據(jù)技術的發(fā)展和應用,使得價值鏈上各環(huán)節(jié)數(shù)據(jù)和信息能夠被深入分析和挖掘,為企業(yè)管理者和參與者提供看待價值鏈的全新視角,使得企業(yè)有機會把價值鏈上更多的環(huán)節(jié)轉(zhuǎn)化為企業(yè)的戰(zhàn)略優(yōu)勢。例如,汽車公司大數(shù)據(jù)提前預測到哪些人會購買特定型號的汽車,從而實現(xiàn)目標客戶的響應率提高了15%至20%,客戶忠誠度提高7%。
外部數(shù)據(jù),包括經(jīng)濟運行、行業(yè)、市場、競爭對手等數(shù)據(jù)。為了應對外部環(huán)境變化所帶來的風險,企業(yè)必須充分掌握外部環(huán)境的發(fā)展現(xiàn)狀以增強自身的應變能力。大數(shù)據(jù)分析技術在宏觀經(jīng)濟分析、行業(yè)市場調(diào)研中得到了越來越廣泛的應用,已經(jīng)成為企業(yè)提升管理決策和市場應變能力的重要手段。
中國是全世界工業(yè)門類最齊全的國家,跨行業(yè)整合創(chuàng)新的空間極其巨大。在這方面,大數(shù)據(jù)是一個催化劑。IBM有一個汽車行業(yè)的客戶,通過裝在汽車上的物聯(lián)網(wǎng),收集駕駛者的駕車習慣,不但能夠改進其產(chǎn)品設計,更能跨行業(yè)與保險公司合作,推出更有針對性的汽車險種,從而實現(xiàn)了多贏。
大數(shù)據(jù)能夠幫助企業(yè)了解消費者偏好,從而進行有針對性的產(chǎn)品創(chuàng)新和業(yè)務模式創(chuàng)新。如果每一個數(shù)據(jù)都只是孤立的,只能在和他直接關聯(lián)的領域發(fā)揮自身價值,那這并不能說是一個數(shù)據(jù)革命的時代,我們要找到實現(xiàn)數(shù)據(jù)之間一加一遠大于二的價值,其間最關鍵的問題就是發(fā)揮數(shù)據(jù)的外部性。中國有世界上最大、增長最快的消費市場,所以中國的企業(yè)有一個巨大的優(yōu)勢,就是貼近消費市場,有機會更早、更快、更準地推出市場需要的產(chǎn)品和服務。但是這個優(yōu)勢必須通過大數(shù)據(jù)分析才能夠發(fā)揮來。