2014年12月12-14日,2014中國大數據技術大會暨第二屆CCF大數據學術會議在北京圓滿落幕。大會立足國際化的視野,分享了海內外大數據技術的發展趨勢;從技術與實踐角度探討“大數據生態系統”、“大數據技術”、“大數據應用”、“大數據基礎設施 ”等新技術應用和實踐經驗;通過創新大賽和培訓課程等特色活動,解密大數據創業熱點,分享行業實戰經驗。
會上,記者針對大數據行業應用落地以及大數據領域人才培養等問題對多為專家進行了采訪。
數據可信性及性能創新問題成落地難點
當前,大數據技術的發展早已不再停留于概念普及階段,更多的企業用戶密切關注起落地問題,尤其是行業用戶,更期望大數據能夠為行業發展帶來較大的助推力。但現實情況卻遠沒有大家期望中的樂觀,大數據技術的行業落地依舊困難重重。那么大數據技術在行業落地方面,就國內外而言到底有那些方面的難點和挑戰?
對此,Co-Founder and CEO of Conviva張暉表示,大數據與人工智能兩者有共同的特點,即大家期望值非常高,但同時對其定義不清晰。大數據相比數學,數學非常嚴禁,其重復度、可信度很高。但大數據恰恰不同,其類似黑箱難以理解,且達到的結論就是可視化、誠信度、可信度都非常難。這是大數據要解決的問題,也是其存在的致命問題。大數據技術的落地既是挑戰一個挑戰也存在著機遇。
而在CCF專家委員會秘書長程學旗看來,張暉教授所涉及的問題恰恰是從數據科學的范疇思考問題,即到底數據科學的問題性確定性以及數據的復雜性到底怎么定義?這是目前非常不確定的。但這不確定性和復雜性恰恰引發大家關注大數據的價值和魅力,而并非大家想象的利用了就能發現價值,這是大數據的難點和科學所在,也是大數據科學的價值所在。
而從技術工程角度,大數據落地難的地方實際上還是數據共享問題,但這并非寬泛的數據共享,CCF同國家相關部門和業務部門之間并不單純是技術研究沒有數據,搞公司和做產品沒有業務結合,恰恰是各公司業務部門之間缺乏分享。如果我們把城市相關技術能夠比較好的關聯起來,在此基礎上進行合理決策,城市規劃方面還是可以實現超前發展的。然而,因為各委辦局的行業部門數據沒辦法整合到統一平臺,這也構成了是大數據落地工程上的難點問題。
而第二個技術難點問題就是性能問題。現如今進行大數據分析,產生Hadoop之類的并非任意團體和機構都可開展。要想進行數據分析,并將數據挖掘產生的價值發揮出來,立足性能角度,新的計算機體系結構設計、網絡設計是否已經解決還存在問題。另外,國內的科研機構這著力進行此類研究的相對比較少。這個系統性的創新也是最難的。
交叉性特征決定人才培養更應高起點
面對洶涌的大數據浪潮,人才匱乏已成為擺在所有企業面前的迫切問題。那么未來大數據人才培養到底應該朝著那些方面發展呢?
在中國人民大學信息學院院長杜小勇看來,當前業界均有較為普遍的認知,即未來大數據人才需求量將劇增。為此,國內相關高校也展開了深層次的探索。但立足大數據本身,歸根到底這項技術更多具備一些交叉性的功能特性,需要知識面更為全面的群體才能真正發揮價值。因此,業界目前統一的觀點表示,大數據人才的培養還需從研究生階段開始培養。
卡耐基梅隆大學教授邢波認為,縱覽國內或公司內部大數據工作,展現在我們面前的更多現象是作為數據的享用者,但在方法論和工具開發方面深入涉及的較少,究其原因,培養此類人才的難點需要人才支持,需要數據和算法上的支持。因此,大數據人才培養本科階段并非不好,而是該階段培養難度較大,且這一層面的人才積累不夠,知識面缺乏一定的豐富性。