大數據在移動互聯網時代也顯得越來越重要,當大家都在探討互聯網思維的時候,到底什么是互聯網思維?各家有各家的說法,但是萬變不離其宗的是離不開的數據挖掘和分析應用。2014年2月19日,在第十一期“信息化大講堂”上聯想中國服務總部首席技術顧問劉睿民先生與大家分享了大數據挖掘技術的發展趨勢及行業機遇。
聯想中國服務總部首席技術顧問 劉睿民
近幾年大數據非常火爆,今年更是馬上火熱,但總的來說集成互聯網思維大數據的革命才剛剛開始。現在新數據的年增長為60%左右,也逐漸從基礎架構、Apps向數據的簡化邁進。那么要達到大數據的簡化,就要先了解大數據處理的現狀、大數據系統統一的整體、大數據的框架及特征。
同時劉睿民先生提到:虛擬化的Hadoop是未來,這就意味著我們要通過虛擬化來統一大數據計算平臺,使其實現簡單、快速、即需地監控數據集群、允許混合負載、利用虛擬機來提供隔離、通過虛擬宕撲來優化數據處理性能和平臺穩定性的目標;可伸縮的擴展性能、依靠高可靠性來保護關鍵服務,如:Hadoop的Name Node及Job Tracker;資源控制和共享,重用低利用率的內存及CPU;對負載進行優先級控制,在混合環境中優化及限制資源的使用充分利用虛擬化。
緊接著,劉睿民先生為大家講解了統一的基于分析的云的三個階段。第一個階段:統一的系統。預先整合系統,便于管理及使用;第二個階段:實時的流數據分析。針對導入的數據執行實時的“流式”的分析查詢、全速更新即時導入的數據、調度及執行上百個復雜查詢、能夠進行億級維表和事實表JOIN,同時無需對維表及事實表進行預處理;第三個階段:基于內存計算的分析應用部署。實時加載及大規模部署分析應用、分析應用全速響應外部App或傳感器、分析應用動態生成及執行上萬個復雜查詢。
合影留念
演講接近尾聲時,現場嘉賓也紛紛提出自己在工作中遇到的困難,劉睿民先生也對大家的提問詳細解答,與大家共同探討解決之道,演講結束后,現場嘉賓月劉睿民先生合影留念。
與成熟技術積累推動應用模式創新的云計算、物聯網、移動互聯網等領域不同,大數據領域的技術尚未完全成熟,大數據的革命才剛剛開始,因此大數據在未來也將帶給大家更多的機遇與挑戰。
第十二期活動預告:【大數據:一個CIO的自我修養】
了解更多信息化大講堂資訊,請點擊: