11月24日,由ZDNet至頂網主辦,英特爾協辦、VMware和SAS支持的主題為“大數據 政府決策的科學發展觀”的第五屆政務信息化高峰論壇在昆山舉行。多位政務信息化專家、大數據實踐精英及IT界意見領袖出席了會議,并在會上就大數據在政務信息化中的實際應用等問題進行了深入交流。其中,英特爾行業合作與解決方案部中國大區總監凌琦在會上表示,大數據已經成為整個業界的發展方向,并且在技術和用戶的角度還有很多需要探討,大數據已經引發了新一輪的信息革命。
大數據面臨處理難題
Gartener早在2010年分析得出信息將成為21世紀的石油,同年The Economist也發表觀點稱,數據日益成為商業的新源材料“一種與資本和勞動力并列的新經濟元素”。
數據量大、規模大、速度快是大數據的三大特征。在2011年兩天的數據量就達到了1.8ZB,這相當于文明起始到2003年的整個數據量。除了人所產生數據外,機器數據即物聯網數據也在逐年遞增。
我們看到的數據大概80%以上是非結構化數據,只有20%是結構化的數據,結構化數據可以用結構化數據的關系型數據庫可以處理,非結構化數據就要依賴于新的技術來處理。凌琦指出,過去傳統處理結構化數據所使用的關系型數據庫,它的規模完全沒有辦法處理,所以要使用并行式數據庫、分布式數據庫等各種方法,采用一些新的架構來處理這些問題。
從規模上看,很多應用沒有進行大數據處理,這些非結構化數據能夠得到分析會大大提高效率。例如,在檢查汽車套牌上,大數據處理可以把所有數據進行對比,并在短時間里找到車輛的顏色、型號是否符合,再反饋給在場的執勤的警察。凌琦表示,像這一類問題都是有實時性、數據規模、數據多樣性的非結構化數據居多,傳統的數據庫是沒有辦法處理的。
此外,大數據正在快速涌現生出態系統。凌琦表示,大數據業務實際上才剛剛開始,這對于整個業界是非常大的挑戰。新技術、新人員和技能提供最佳實踐,在這樣的商業模式下變成一個可盈利可持續的業務。使企業和組織有能力對大量的、不斷增長的、多樣的、多維的、結構化以及非結構化數據進行管理、分析并據此采取行動。
大數據時代 Intel的定位
目前主要的大數據行業包括電信、零售、金融服務、制造、醫療、物聯網、智慧城市,在這些行業里只有10%的數據。Intel看到了其中的機會,不僅僅在服務器同時也存在在網絡、存儲,以及高性能數據分析軟件中,像Hadoop這些新技術會逐漸成熟。
Intel希望在大數據時代從各方面進行投入,將軟件的分析時間從小時縮短到秒,提高計算的性能,存儲結構更加分布式、智能化并且進行橫向擴展,提高SSD的吞吐量,以及建立高速分布式的網絡結構。在這些能夠領域里Intel希望為大數據處理提供一個基礎架構,或一些工具。
凌琦指出,Intel也并購了很多大數據處理以及架構廠商,并且Intel在上海有一個團隊專門在做Hadoop大數據處理架構的開發。
據悉,Intel上海研發實驗室投入了將近2000多個專業工程師在進行開發,從前端的筆記本到后端的服務器網絡,其中80%的前端產品是在上海做研發。
Intel的創新能力一方面從實驗室產生,一方面從市場的需求變化而來。“Intel希望成為整個行業的領頭羊,提供高效的計算芯片、存儲、I/O、網絡技術,加速大數據價值挖掘與提高決策反應,提供最優的軟件和工具推動大數據應用的部署和創新。促進大數據生態系統的建設和與合作伙伴合作,并且投資大數據解決方案的研究和服務。”凌琦指出,最終為用戶帶來價值以及完整的解決方案。