大數據成為業界最熱門的話題之一,事實上,幾千年來我們一直在利用數據,數據并不是新概念。但大數據的價值最近幾年才被公眾關注到,這有著時代背景的原因。比如說石油,石油在幾千年前就被發現了,但一直被用作日常生活或戰爭中的燃料,并不是特別重要的戰略物資。在內燃機發明以后,石油成為最重要的動力能源,并在最近的100年中成為戰略物資。
如今,大數據也迎來了黃金時代,隨著云存儲、云計算技術的成熟,大數據的存儲與處理能力有了技術條件。企業可以利用生產系統以及管理系統中產生的大量數據,一方面對自己的生產活動進行更為準確的預測與指導,從而提高生產活動的準確性;另一方面通過對大數據價值的挖掘,開發新的業務和服務。比如谷歌,僅僅通過搜索關鍵字的歷史數據,就相當準確地預測了流感的傳播路徑。在這樣的環境下,大數據才像石油一樣,成為重要的戰略資源。
當然,各企業也都規劃了自己的大數據策略,在2014第四屆大數據世界論壇期間,C114采訪了中興通訊中心研究院副院長陳堅以及中心研究院總工王德政,分享了中興通訊對大數據發展趨勢的看法。
最大的變化是智慧產生方式
就像每個人心中都有一個哈姆雷特一樣,每個人對大數據的定義也各有不同。在陳堅看來,大數據的價值就在于透過表象,究其本質,提升人類活動的準確性,減少傳統方式下的“試錯”成本,從而提升效率。
舉個例子,在發生重大案件時,可以通過卡口的攝像資料,實時生成嫌疑車輛的運動軌跡與活動范圍,提高案件偵破的效率。這些,歸根結底,都是通過提高人類活動的準確性來提高整個社會的生產效率。
王德政表示,中興作為一家擁有幾萬名員工的企業,本身也是大數據的擁有者,大數據應用的案例也是隨處可見。比如,通過員工打卡記錄與網絡登錄記錄的關聯挖掘,發現工作中的違例現象;通過對公司內部論壇的挖掘分析,加強對未來技術的敏感度,防止技術決策失誤等等。
同時,中興在項目研發的過程中,產生了大量的項目研發過程數據。在以往傳統的項目管理中,衡量一個項目執行進度是否正常,基本上是依賴項目成員的主動報告。但項目成員的主動報告,有時會掩蓋項目中實際的進度延誤,以及項目執行情況的惡化。近期,中興在考慮針對項目研發過程數據進行建模,通過大數據的挖掘分析,對正在執行項目的健康度進行評估,與項目組的主動報告對照印證,盡早發現項目執行過程中的風險。
陳堅認為,未來大數據挖掘帶來的最大變化是智慧產生方式的變化。在傳統的智慧生成模式中主要依賴人類專家。例如,你我是各自領域的專家,我們通過長時間的經驗積累,可以在合理的時間內針對自己領域內的問題給出判斷,這就是一個典型的智慧生成過程。而大數據挖掘帶來的變化就是,大數據系統通過數據分析挖掘,累積經驗庫,并生成智慧,以減少對人類專家的依賴,至少是在數量上減少對人類專家的需求量。這樣的情景,將會蔓延到各行各業,延伸到人類社會的各個角落,像文字的普及一樣,將永久性地改變人類思考問題的方式甚至生活方式,這需要人類提前準備、適應這種變化。
大數據是運營商的必然選擇
但并不是所有的數據都具有價值,陳堅認為,一個高價值的數據集應該滿足這樣幾個特征:首先,這個數據集應該與物理世界有較為廣泛的對應關系,而不是純粹的虛擬數據;其二,這個數據集不是純粹的靜態數據,而應該是可以實時更新的數據;其三,如果這個數據集具備物理位置等信息,將具備更大的價值。
現在運營商對電信數據價值的認識和價值探索,也越來越深刻。比如,用戶對服務質量不滿意時,往往只有少數人會打客服電話進行投訴。不滿意的客戶,很可能在自己的親友圈中散發大量的負面情緒。按照傳統的通過客服主動大面積撒網去消除這種負面影響,就需要付出非常高的成本。如果利用收集到的電信系統中的過程信令數據,并加以分析,有效評估出客戶體驗最差的群體,再對這些特定客戶群進行主動關懷,提高關懷行為的準確性,就能夠以較小的代價,主動消除這些不滿意客戶所產生的負面影響。
現在,大數據在電信業的應用,一方面用來改進網絡本身,降低維護成本;另一方面通過分析挖掘開發新的業務,增加收入,這些都將成為電信運營商的必然選擇。
國內的運營商也在探索,陳堅表示,中興與運營商一起,通過部署在電信的大數據系統,以及電信網絡中產生的過程信令,對用戶進行標簽分類,描繪用戶的全方位畫像。用戶畫像可以與其他行業數據進行結合,以開發更多的新業務。
適應需求的IT系統架構特點
應用的需求,也對企業的IT系統架構提出了新的要求,比如要滿足海量應用、在線計算。
陳堅表示,中興近期推出的DAP平臺在系統架構的設計中,采用清晰而標準的系統分層架構,可以根據不同行業的特點,方便快捷地引入第三方的軟硬件模塊,保證客戶利益的最大化。DAP平臺利用云存儲與云計算的技術,對海量的數據進行存儲、挖掘分析,幫助企業充分開發數據的價值。
王德政補充說,與其他的系統相比,DAP平臺有三個最重要的方面:
首先,DAP采用貨架式架構,采用企業總線ESB的技術,可以靈活地對各個組件模塊進行裁剪與拼裝。滿足“集成”與“被集成”的兩種角色要求。當前各個行業已有大量的生產系統在線運行,完全重構這些系統無論從經濟成本上,還是時間成本,都無法承受。所以,未來的大數據系統必然要同時承擔兩種角色:既可以作為原有生產系統的一個子系統被集成,也可以作為主系統去集成原有的生產系統。
中興的DAP貨架式架構就可以靈活適應各類“集成”與“被集成”的場景,在不影響生產系統穩定性的前提下,與原有生產系統無縫集成,引入大數據系統。
其次,DAP在數據分析挖掘層面的智慧生成的特征,可以提高企業活動的準確性。未來的大數據系統能否生成智慧,替代人類專家,是區分大數據系統與傳統IT系統的關鍵特征。一個無法生成智慧的系統,無論數據量有多大,充其量也就是一個大型的傳統系統,而不是大數據系統。DAP通過針對性的挖掘算法改進,可以做出超越人類專家經驗與直覺的智慧建議,提升人類活動準確性,提高社會生產能力。
第三點,DAP具備平臺特性。DAP聚焦在數據的存儲、處理時效、以及挖掘算法,為上層應用解決大數據應用的技術難點與障礙。上層應用可以根據自身的需求,快速地進行定制開發,以很短的時間周期與研發成本推出新的大數據應用。未來,DAP還可以對第三方開放,支撐第三方的大數據業務開發。
根據他的介紹,目前中興的DAP大數據平臺已經承載了電信、金融、政府相關領域的多個行業的大數據方案。
封閉研發很難成功
從技術的角度來看,陳堅認為,大數據平臺在各個行業中是相似的,可以采用相近的技術框架與方案,然后針對不同的應用特點做針對性優化。大數據應用對于各個行業的差異性則是比較大的,需要適應行業應用的不同解決方案。
大數據作為一個產業鏈,任何封閉研發的嘗試都是很難成功的。陳堅說,首先,大數據業務的實現天生具備定制化強的特點。所以,無論是電信、金融、還是其他領域,中興通訊作為大數據技術的提供者,都必須與合作伙伴做緊密的配合,才有可能獲得項目的成功。
其次,在大數據領域,中興也在參與開源社區的工作,在為開源社區做貢獻的同時,同時利用開源社區的智慧與資源。
而且,中興通訊通過與北郵等高校的技術合作,開始做針對性的技術預研,論證未來技術實現的可行性。
對于一個大數據的系統,可以將其分成數據收集獲取、存儲計算、建模應用這三個層面。
在數據的收集獲取方面,業主本身就是這些數據的擁有者,需要考慮的是大量的對接、測試、談判等工作,這就需要業主自身具備較好的數據收集、談判能力。作為技術提供者,中興通訊具備數據的接入、清洗等相關技術,可以協助業主做大量的實際測試與對接工作。
在數據的存儲計算方面,這往往是技術提供者最擅長的工作。對于中興通訊來說,為了適應各個行業對大數據解決方案的需求,構建了公司級的DAP大數據平臺,其所涉及的范疇正是數據的存儲計算相關的領域。
在數據的建模應用方面,往往需要業主與技術提供者協作工作,才能取得較好的效果。業主擁有自己領域的專家,可以整理出本領域的需求,中興的技術專家就可以根據這些需求,與業主進行協作,構建數據模型,完成新業務的開發。
綜合而言,在構建大數據系統方案時,業主與技術提供者是天生且必須的合作關系。業主更擅長于數據采集獲取、數據建模應用相關的工作,技術提供者更擅長于數據存儲處理、數據建模應用相關的工作。
今天,大家都意識到大數據是和自然資源一樣重要的戰略資產,隨著應用不斷深入社會各個角落,大數據挖掘有可能會超越人類專家經驗與直覺的智慧,勢必會催生社會發展變革。