2013年1月11日,隨著百度南京數據中心的“開放日”迎來首批嘉賓訪客,百度云計算硬件基礎設施的神秘面紗也逐步顯現。記者從嘉賓的口中以管窺豹,了解到五大核心看點,為您首度披露百度背后的數據中心硬件架構。
業內專家同時對記者表示,以前只是對百度的搜索引擎技術、軟件專利比較熟悉,但沒有想到,百度在硬件和軟硬結合的數據中心領域,也有驚人的表現。通過百度南京數據中心的“開放日”,專家們認識到,以百度為代表的中國互聯網公司,已經在互聯網技術領域積累了先進技術經驗,絲毫不落后于國外領跑者。可以相信,在百度等公司的推動下,中國互聯網與移動互聯網,必將迎來更加蓬勃發展的明天。
云數據中心:因何而生?
當越來越多的網民開始“百度一下”的時候,百度公司面臨的數據處理的壓力也與日俱增。據統計,百度擁有的數據總量達到上百PB,日處理量達幾十PB。PB是Petabyte的簡稱,它是較高級的存儲單位,1PB=1024Tb(Terabyte)=1024*1024GB(Gigabyte)。1PB相當于4千億頁文本。
按照百度的日處理量幾十PB,我們假設按照60PB來計算,平均分攤到15億中國人頭上,相當于每個中國人要處理16000頁文本,約等于700多頁厚的新華字典,要摞起來厚厚的20多本。如此巨大的數據量,還并不是困難的全部。百度要處理的數據,往往是結構化與非結構化并存,系統數據對數據一致性要求強弱程度不同,用戶對數據的訪問行為存在不確定性,即在毫無征兆的情況下,對某些信息進行突發式訪問等。
面對新時期的挑戰,傳統的數據中心的成本就顯得格外高昂。相比傳統數據中心功耗高、IT設備負載低的弱點,云數據中心具有天生的優勢,IT負載可以靈活調配,資源可被近實時的按需調節,極大地避免了浪費。數年前,百度技術高管已經有了決斷:要加快數據中心節能降耗進程,大幅降低成本。“以單體10萬臺服務器的數據中心為例,PUE(電能使用效率指標)每降0.1,一年就可為百度節約上千萬元的成本;如果選擇能源豐富的地理位置以降低電價,百度每年還可節約千萬元成本。”數據中心節能的價值不言而喻。數據將爆發增長,數據中心規模也將隨之快速擴張,因而,提前進行數據中心節能設計,為百度未來數據中心降低能耗、節省成本打下了堅實的基礎。
百度云計算硬件基礎設施亮點之一:ARM服務器體系架構全球首次正式商用
傳統以來,PC與服務器界,INTEL INSIDE的標志幾乎是不可更改的習慣,但是,你知道iOS、Windows Phone、Android這3大平臺的手機共通點是什么嗎?那就是這些手機CPU全都是采用ARM芯片。i美股《移動處理器“小巨人”ARM》報告披露,2011年全球智能手機出貨4.7億部,ARM架構芯片占90%,功能手機出貨6.6億部,ARM架構芯片占95%,硬盤和固態驅動器出貨7億,ARM占90%,數碼相機1.5億臺,ARM占80%……
圖:百度云數據中心在全球首次實現了ARM體系架構的正式商用
百度云計算硬件基礎設施的第一大亮的即是在全球首次實現了ARM體系架構的正式商用,也是ARM體系首次服務于云數據中心的規模化應用。ARM專為百度云服務設計,基于云平臺將軟件與CPU指令集解耦,實現了輕計算負載,高存儲密度,存儲密度提升了70%,TCO降低了25%。而為了達成低功耗,低成本,百度也實現了指令集變遷,即一套代碼,兩種平臺(X86&ARM)。
百度ARM服務器擁有10個以上的發明專利,是ARM全球首個Server端規模應用,并且是服務于云數據中心的規模應用,充分彰顯了百度在移動計算上的技術領先性。
百度云計算硬件基礎設施亮點之二:國內首個大規模部署定制化整機柜服務器
國內第一個大規模部署自主設計的定制化整機柜服務器,該項成果承載著百度自主研發與百度數據中心相匹配的、貼近業務需求的、具備最佳TCO的整機柜服務器解決方案的重任。
圖:百度定制化整機柜服務器
第一批百度自主開發的整機柜服務器(200個rack機柜)已經在南京云數據中心上線。TCO(整體擁有成本)下降10%,峰值交付效率提升10倍。
百度云計算硬件基礎設施亮點之三:中國互聯網業內最大萬兆接入服務器集群
據參觀了百度南京云數據中心的專家透露,目前,該數據中心建成了目前國內互聯網行業最大的萬兆集群,集群規模超過5000個節點。基于百度自主研發的萬兆ToR交換機以及低成本低功耗接入介質,該集群相對于傳統的千兆集群,服務器節點帶寬提升了3-10倍,同時硬件采購成本以及TCO僅分別上升8%和不超過5%。
另據了解,該機房使用了百度自主研發的,基于64核處理器的負載均衡系統,該系統可以為業務提供最大320G的負載均衡以及DDoS攻擊防御服務,而其成本不到商用設備的10%。
百度南京云數據中心實現了兩大革命性突破:不僅是國內互聯網行業最大的萬兆集群,也是國內首家大規模部署自研萬兆交換機的數據中心。
百度云計算硬件基礎設施亮點之四:SSD自主研發
如何處理海量數據的實時存儲?面對百度海量數據存儲需求的不斷提升、軟硬件架構從傳統層次結構向豎井結構的變遷、On Demand定制軟硬件的業界趨勢,百度推動了SSD自主研發的進程。
在系統上,百度實現了從傳統層次結構向豎井結構的變遷,同時,也實現了軟硬件的高度協同和融合,如硬件多通道對應用可見,應用控制數據并發應用,顯式擦除無用數據,避免性能波動;在軟件上,實現了輕量級文件系統和IO系統,繞開Linux文件系統及IO協議棧,降低了訪問延時和系統開銷;而在硬件上,則根據百度數據訪問模式定制,寫放大系數恒為1,不需要預留冗余空間,同時,實現計算和存儲的融合,可以作為計算協處理器應用。
SSD自主研發為百度云數據中心帶來的好處是顯而易見的,性能比主流PCIE flash卡好2倍,每GB成本降低40%;性能比主流SATA SSD好6倍,每GB成本降低10%,目前在百度網頁庫大規模使用,已經獲得3個發明專利,完成和投出2篇學術論文。
百度云計算硬件基礎設施亮點之五:自建數據中心年均PUE1.37,國內最佳
PUE(Power Usage Effectiveness)是國際上通用的數據中心能源使用效率衡量指標。PUE=數據中心總設備能耗/IT設備能耗,是一個比值,PUE越接近1表明能效水平越高。國內數據中心PUE目前平均值約為2.5,這意味著IT設備每消耗1度電,就有多達1.5度的電被IT配套基礎設施消耗掉了。若全國數據中心PUE均值從2.5降低到百度的1.37,則節能率達到45.2%,保守估計全年可節電超過35億度。
經過多年探索與實踐,百度提出“節能從源頭開始,軟件、IT設備與基礎設施協同”節能理念;“關注基礎設施系統的每一個環節,把每一個方面做到極致”,最大限度地降低各個系統的能耗。百度結合國內自然環境及產業條件,推動多種節能技術在自建數據中心最佳實踐。如:優化供電結構,減少轉換損耗;首次規模應用市電主供、冗余電源備份方案;采用冷機變頻、空調末端Ecfan等技術提高設備能效;提高供回水溫度,延長免費冷卻時間;采用CFD優化氣流組織設計…… 最終通過運維調優,自建數據中心全年約50%時間實現完全免費冷卻,年均PUE 1.37,最佳PUE 1.18,成為國內最節能、最環保的數據中心。