當下,大數據挖掘與分析、云計算、移動和社交技術正在改變企業業務模式。據統計,近75%的企業決策者認為大數據分析、云計算、移動和社交技術對企業具有重要的戰略意義,在技術采用上,有70%的企業正在應用這些技術。
大數據分析與云計算等趨勢不斷沖擊著各個行業,包括企業內部基礎架構。為此,企業急需一個快速靈活的基礎架構以滿足數據爆炸式增長的數據分析管理與云中業務的動態調整。
開放Power8系統 擁抱云計算、大數據時代
在這樣背景下,IBM整體業務正緊緊依托著云計算、移動、大數據三個領域展開,而IBM Power8正是藍色巨人的代表產品之一。
Power 8的推出,旨在處理海量數據來幫助企業更好的管理新興社交和移動計算的需求。IBM一直倡導、參與和支持Linux和開源軟件,并將開源技術融入Power平臺,并針對Power Systems服務器投入大量資金用以研發最新的Linux和其它開源技術。
在支持Linux和開源之后,更加智能的橫向擴展不再只是x86的優勢,Power在大數據挖掘與分析、云計算部署方面將發揮更大的性能,更好的體現為云計算設計、為大數據而生的預置能力,基于Power 8技術的IBM Power Systems服務器在大數據分析速度上比最新的x86系統快82倍。
而在云計算方面,Power 8提供了更低的云基礎架構成本。據IBM測算,34臺2插槽Power服務器可完成100臺運行等效的虛擬化容量的2插槽x86服務器的工作,與VMware+Ivy Bridge的組合相比,PowerVM+Power 8的虛擬化組合總體硬件采購成本要降低58%,系統和核心數量減少66%。
總的來說,IBM Power 8能夠幫助客戶管理日益復雜和數據密集的工作負載,使基礎架構更好地應對云計算和移動計算挑戰,正是依靠其動態并行多線程、Power 8Linux KVM分核技術和芯片級控制器加強電源管理能力。并且,Power 8針對大數據優化內存帶寬、PCIe、SMT、虛擬尋址和硬件管理的緩存的一致性有著優異的表現。
開發者論道Power 8大數據分析實戰
為了讓開發者了解和充分利用Power 8的優勢,最大限度提升大數據和分析、移動、社交應用的性能和并發訪問能力。去年9月份,IBM與CSDN聯合舉行Power 8極限性能挑戰賽,以云計算的方式為開發者提供了Power 8開發環境,開發者將充分利用Power 8的特性,基于不同場景進行應用開發。
到目前為止,已有數百名開發者報名并參加了此次大賽,大賽評委們一致認為無論是參賽作品的數量、完成質量和時間上,都已經大大超出預期。
在第一期“博客反垃圾”比賽中,參賽者需開發系統從CSDN提供海量的博文數據中將垃圾博文從中抽取出來。其中,逸云計算機科技有限公司 CEO/總裁黃文超作為參賽者,運用 “中文分詞技術”、“詞頻-逆文本頻率指數(TF-IDF)”和“余弦定理文本分類方法”計算模型進行參賽,在Power 8環境里運行時間為0.26秒。
賽后,黃文超表示,在Power 8環境里運行計算模型,真正體驗到高性能并發處理的魅力,處理海量博文數據比預計用時更短。為了把Power 8平臺的計算性能發揮到極致進行大量并發測試實驗,結果顯示處理時間縮短了88.13秒。
通過此次比賽驗證,開發者利用IBM最新Power 8的并發多線程技術則可以達到響應數倍的效率。“從大數據技術發展可以看出,并發多線程技術是大勢所趨。在未來的數據處理應用中,并行算法、分布式計算將占據主導地位。” 軟通動力信息技術有限公司 軟件工程師侯偉婷,對于多線程及并發編程技術發展及改進,提出自己的看法。
對于IBM Power 8關注的技術要點以及未來大數據領域技術趨勢的看法,南京烽火通信公司研究員吳亮說:“Power 8架構的并行算法,不僅讓我體驗到快速處理海量數據的能力,而且任務之間相互獨立,提高了計算效率。同時,我認為大數據計算的并發技術,將是未來這個領域的趨勢。
在第二期“敏感詞大文本過濾” 比賽中,參賽選手編寫算法將從CSDN提供博客數據與敏感詞詞庫,將含有敏感詞的博客分離出來。關于算法設計思路及使用的計算模型,北京理工大學唐剛提出兩種計算方式:方法1:非監督學習方法,規則匹配(敏感詞表*博客總數次匹配,計算出相應敏感詞得分),計算出敏感詞表全部累計得分,最終輸出結果。方法2:借助其他詞語庫完成,運用二值分類方式輸出結果,最終唐剛比賽成績為0.14秒。
賽后,唐剛表示,一直以來十分關注多線程及并發編程技術應用,IBM Power8的多線程計算充分發揮計算程序應有的效率,有效降低運算線程通信時間,結果比想象中計算時間比例低很多。最初在本機運算時間大約為40秒左右,在運用Power 8平臺計算后,時間提高了幾百倍。
隨著大數據時代的發展,多線程及并發編程技術會變得越來越重要,同時,越來越多的開發者正在關注IBM Power8平臺的技術發展。“通過實際應用體驗到IBM Power8平臺在計算性能的優越。從我本身工作來說,希望Power 8平臺能在云上提供服務,讓Web開發者有更好的選擇。”中國科學技術大學研究生孫冬冬表達了使用IBM Power8平臺的感受以及對其應用提出了期望。。