11月10日,有計算奧運(yùn)會之稱的Sort Benchmark全球排序競賽公布了2016年最終成績,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊用時僅僅98.8秒,就就完成了100TB的數(shù)據(jù)排序。
這打破了阿里云去年創(chuàng)造的329秒紀(jì)錄,而在更早的時候,百度曾經(jīng)的紀(jì)錄是716秒,Hadoop的紀(jì)錄是4222秒。
全球大數(shù)據(jù)性能進(jìn)化史
在這次競賽中,騰訊云數(shù)智分布式計算平臺奪得了GraySort、MinuteSort兩個項目的冠軍,同時創(chuàng)造四項世界紀(jì)錄,將阿里云去年的紀(jì)錄整體提高了2-5倍。
GraySort項目比的是如何在最短的時間內(nèi)將總量100TB的1萬億條無序100字節(jié)紀(jì)錄,從小到大進(jìn)行排序。騰訊云用時98.8秒完成,相當(dāng)于每分鐘處理60.7TB,而去年冠軍的成績是18.2TB/分鐘。
MinuteSort比的則是在1分鐘之內(nèi)能夠完成多少數(shù)據(jù)量的排序。騰訊云的成績是55TB,而去年只有11TB。
Sort Benchmark通過排序競賽考量一家公司或機(jī)構(gòu)大規(guī)模計算能力的綜合實(shí)力,通過排序這個最基本的計算問題,不僅全面評測分布式系統(tǒng)軟件架構(gòu)能力(如海量數(shù)據(jù)分布式存儲、計算任務(wù)切片調(diào)度、節(jié)點(diǎn)通信協(xié)調(diào)同步、數(shù)據(jù)計算監(jiān)控容災(zāi)等性能),也評測了硬件架構(gòu)能力(如服務(wù)器硬件選配、網(wǎng)絡(luò)架構(gòu)調(diào)優(yōu)、IDC規(guī)劃建設(shè)能力等)。
為了參加此次競賽,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊在基礎(chǔ)架構(gòu)上采用了512臺IBM OpenPower服務(wù)器和邁絡(luò)思公司的100Gb互聯(lián)技術(shù)。