萬山數據CTO、北大信息化與信息管理研究中心技術顧問 魯四海
大家下午好!各位專家都提到了在新型智慧城市建設中,大數據是非常重要的,大數據的實施落地,如何讓數據產生經濟效益將是智慧城市建設中的重點工作?! ?br />先從時間維度看,2013、2015、2017都有說是大數據的元年,但主題詞確有不同,2013是技術,2015年是集中、共享、開放,2017卻是進向全面數字化、數據驅動業務創新的起點。顯然智慧城市是大數據的主要應用領域。
大數據在智慧城市的應用主要體現在四個方向:對于政府是提供決策支持;對于企業是監控、創新引導;對于市民是提供智能分析,實現智慧生活,例如通過智能地圖出行;通過大數據優化城市發展與環境的問題。
從技術層面看,智慧城市重要支撐是物聯網、大數據技術。物聯網解決數據感知和智慧化響應,大數據技術則是兩個過程中最核心的過程,是通過數據挖掘將數據變成知識、變成決策、變成行動指令的過程?! 〈髷祿谥腔鄢鞘腥绱酥匾?,那在建設過程是否也面臨一些問題和挑戰,我們團隊調研發現主要有以下幾個方面: 一是數據安全問題制約數據開放;二是用戶不能便捷使用數據進行分析;三是統一的平臺如何滿足不同部門對數據的要求;四是很多數據不是鮮活的,建設好大數據平臺,其中很多數據可能是歷史的。從技術視角看,缺少一個敏捷數據分析平?! ?strong>敏捷大數據分析平臺,四個特點: 第一,它是面向用戶的。大數據分析不僅是IT部門或數據分析師的事情,它應有運營和BD、PR的參與。例如企業,可能是客服,政府是市民服務熱線等服務機構?! ?strong>第二,一定要面向業務場景。在不同的領域,比如交通、社區服務,在使用過程中,日報、周報能夠反饋過來。 第三,即時計算。如果一個分析需要幾個小時或更長時間,對于普通用戶是完全接受不了的?! ?strong>第四,支持探索式的分析。要做到探索式的分析要做好三個方面的事情,一是數據的可視化,分析人員看到的數據是可理解的,而不是數據庫中的英文字母;二是分析的可視化,指的是分析的過程所見即所得的;三是算法模型的可視化,對于業務用戶“看得見”可用的模型,能簡單地調用相關模型算法,然后連接自己的數據就要能實現數據挖掘?! √岬矫艚莘治鰰r,大家可能會想是不是講敏捷BI。此敏捷非彼敏捷。最大的區別在于敏捷BI重視工具本身的輕便,即安裝部署的輕便,而忽視的使用戶的輕便和功能的豐富程度。所以導致很多人一說敏捷就是HTML5、圖表、不建、直接分析等,敏捷的最終目的是讓業務用戶參與數據分析,實際上這幾點解決不了這個問題。 需要的未來發展的敏捷數據平臺應該具備以下特點: 第一,多數據源集成; 因為大數據分析挖掘一定是廣泛維度的數據才能產生它的價值?! ?strong>第二,業務化語言表達; 對于分析人員,不是容易看懂數據標的東西。 第三,未來的建設應是集約化的; 工具平臺是可以通用的,大部分數據應是共享的,當然也存在個性化數據。未來的平臺是一種這樣的結構,平臺層應是功能上完全通用,能夠通過多租戶的技術供給不同組織使用。在這個過程中,不同的租戶可以享受一些公共開放的數據,但也有自己配置管理的權限,這樣才可達到快速發展的過程。 第四,靈活的數據管理。 將分散的數據快速實現邏輯集中,跨表、跨庫等問題不需要分析師的關注,他只需要分析他所得東西,分析師要找到數據,然后選擇合適的模型算法和可視化工具,快速完成分析。 第五,KPI; 作為一個分析平臺,分析后要反映到業務過程中,其中很重要的一點是有很多的KPI,通過KPI監控,把異常即時反饋到業務過程中,通知到人及時做出決策,通知到系統及時做出反饋?! ?strong>第六,算法庫; 很多基礎算法是通用的,只是數據的不同。比如環比、同比等,根據業務場景的特點,用的時候選擇相應的數據對應可能出現的結果。
萬山數據提供的敏捷分析平臺即是按這樣的應用需求設計,不僅有豐富的功能,還在數據安全管理、共享開放上下了很多功夫,同時兼容各種數據分析環節中的事實標準,比如報表兼容Jasper、BIRT,圖表兼容Hightcharts、ExtJS,數據挖掘完全支持R語言,還能直接集及TOS的ETL任務調度…… 最后,介紹一下萬山數據,北京萬山數據科技有限公司,核心團隊由來自于著名科研機構、知名企業的大數據專家組成。是中國新新一代IT產業推進聯盟孵化的首家大數據公司。我們主要提供兩個方向的產品和服務:大數據分析技術與工具、數據分析服務。 技術與工具包括大數據敏捷分析平臺、文本數據的挖掘平臺、大數據多屏互動系統,解決從數據集成、分析到交互中的問題。僅有工具是不夠的,數據分析需要模型、算法,還需要對數據資源的全面了解、對數據質量的管理,因此我們提供了大數據資源規劃的服務,主要解決三個問題,知道有什么數據,哪些數據是可用的,以及解決怎么用的問題。謝謝大家!