11月10日,具有計算奧運(yùn)會之稱的Sort Benchmark全球排序競賽公布2016年最終成績,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊用時不到99秒(98.8秒)就完成100TB的數(shù)據(jù)排序,打破阿里云去年創(chuàng)造的329秒的紀(jì)錄。在更早前,百度創(chuàng)造的紀(jì)錄是716秒,Hadoop的紀(jì)錄是4222秒。
在這次競賽中,騰訊云數(shù)智分布式計算平臺,奪得Sort Benchmark大賽GraySort和MinuteSort的冠軍,總共創(chuàng)造四項(xiàng)世界紀(jì)錄,將去年阿里云的紀(jì)錄整體提高2倍到5倍。騰訊名列全球大數(shù)據(jù)第一梯隊領(lǐng)軍企業(yè),這也是全球大數(shù)據(jù)性能進(jìn)化史的重要里程碑。
每年全球頂尖公司和學(xué)術(shù)機(jī)構(gòu)都會來參加該賽事,以評估軟硬件系統(tǒng)架構(gòu)能力及最新研究成果。這項(xiàng)賽事包括四項(xiàng)比賽,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊參加的是含金量最高的GraySort和MinuteSort兩項(xiàng)排序競賽,重點(diǎn)評測大規(guī)模分布式系統(tǒng)的軟硬件架構(gòu)能力及平臺的計算效率,以上兩項(xiàng)比賽均包括Indy(專用目的排序)和Daytona(通用目的排序)兩個子項(xiàng)。數(shù)智一舉奪得上述四個子項(xiàng)的冠軍,總體將去年的紀(jì)錄提高2倍到5倍。
GraySort競賽比拼的是如何在最短的時間內(nèi),將總共100TB,一共1萬億條無序的100字節(jié)紀(jì)錄,按照從小到大的順序進(jìn)行排序。數(shù)智用時98.8秒完成100TB的數(shù)據(jù)排序,即每分鐘完成60.7TB的數(shù)據(jù)排序,去年冠軍的紀(jì)錄為18.2TB/分鐘。MinuteSort競賽,比拼的是在1分鐘之內(nèi)能夠完成多少數(shù)據(jù)量的排序。數(shù)智的成績?yōu)?分鐘完成55TB的排序,去年冠軍的紀(jì)錄是11TB,數(shù)智將這一數(shù)據(jù)量提升5倍。
Sort Benchmark通過排序競賽考量一家公司或機(jī)構(gòu)大規(guī)模計算能力的綜合實(shí)力,通過排序這個最基本的計算問題,不僅全面評測分布式系統(tǒng)軟件架構(gòu)能力(如海量數(shù)據(jù)分布式存儲、計算任務(wù)切片調(diào)度、節(jié)點(diǎn)通信協(xié)調(diào)同步、數(shù)據(jù)計算監(jiān)控容災(zāi)等性能),也評測了硬件架構(gòu)能力(如服務(wù)器硬件選配、網(wǎng)絡(luò)架構(gòu)調(diào)優(yōu)、IDC規(guī)劃建設(shè)能力等)。在這次排序競賽中,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊在基礎(chǔ)架構(gòu)上采用了512臺IBM的OpenPOWER服務(wù)器和邁絡(luò)思公司的100Gb互聯(lián)技術(shù),這也讓騰訊云大數(shù)據(jù)產(chǎn)品的性能取得進(jìn)一步提升。
騰訊云副總裁、騰訊數(shù)據(jù)平臺部總經(jīng)理蔣杰表示,全球企業(yè)正在進(jìn)入企業(yè)數(shù)據(jù)和社會數(shù)據(jù)的全融合時代,從浩瀚的大數(shù)據(jù)中尋找新業(yè)務(wù)航向,甚至建立全新的商業(yè)模式,正在成為這個時代企業(yè)的生存和發(fā)展命題,騰訊云全面開放騰訊18年海量大數(shù)據(jù)處理經(jīng)驗(yàn),為企業(yè)在最短的時間內(nèi),用最少的資源提供精準(zhǔn)的計算,建立核心商業(yè)競爭優(yōu)勢。
此次參賽的騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊由騰訊云存儲產(chǎn)品中心、騰訊數(shù)據(jù)平臺部組成,這個團(tuán)隊在大數(shù)據(jù)技術(shù)和應(yīng)用管理上有非常豐富的實(shí)踐經(jīng)驗(yàn),尤其是騰訊數(shù)據(jù)平臺部一直在管理的騰訊大數(shù)據(jù)集群,是世界上最大的大數(shù)據(jù)集群之一。此前,這個團(tuán)隊一直苦練內(nèi)功,多年技術(shù)積累讓他們在全球計算奧運(yùn)會上取得非常矚目的成績。
在對微信每天160億級別的多維分析場景中,數(shù)智能夠做到6秒返回結(jié)果;數(shù)智是騰訊云在互聯(lián)網(wǎng)海量數(shù)據(jù)處理經(jīng)驗(yàn)之上,結(jié)合開源Hadoop生態(tài)和自研組件服務(wù),對外提供的一站式數(shù)據(jù)分析與挖掘平臺,已在政府、傳統(tǒng)企業(yè)和互聯(lián)網(wǎng)企業(yè)中被深度應(yīng)用。
業(yè)內(nèi)人士評價,今年評測的結(jié)果顯示,騰訊在大數(shù)據(jù)的技術(shù)積累超出了業(yè)界想象,未來騰訊持續(xù)向中國企業(yè)輸出大數(shù)據(jù)和云計算能力,將會讓中國更大范圍的參與全球的商業(yè)競爭,提升中國經(jīng)濟(jì)在全球經(jīng)濟(jì)的市場占有率。