日前,全球第二大獨立搜索引擎和最大的中文搜索引擎百度建立了全新的綠色數據中心。全新構建的數據中心充分滿足了百度日益龐大的訪問量、搜索量帶來的后臺運算需求,還讓百度擁有了更加綠色、節能、環保的IT基礎架構設施,為百度的健康、可持續發展奠定了良好的基礎。
全新的數據中心由1617臺聯想最新推出的ThinkServer RD530雙路機架式服務器組成,聯想為百度量身打造的低能耗、高可用的基礎架構解決方案,幫助百度輕松、穩定地應對龐大的訪問量和搜索量、豐富多樣的互聯網服務業務所帶來的運維壓力,同時有效優化了能效,降低了擁有成本和運營成本,有力地支撐了百度業務的擴大和提升。
項目背景
百度是全球第二大獨立搜索引擎和最大的中文搜索引擎。從創立之初,百度便將“讓人們最便捷地獲取信息,找到所求”作為自己的使命,成立以來,公司秉承“以用戶為導向”的理念,不斷堅持技術創新,致力于為用戶提供“簡單,可依賴”的互聯網搜索產品及服務,其中包括:以網絡搜索為主的功能性搜索,以貼吧為主的社區搜索,針對各區域、行業所需的垂直搜索,Mp3搜索,以及門戶頻道、IM等,全面覆蓋了中文網絡世界所有的搜索需求,同時還擴展了導航服務、社區服務、游戲娛樂、軟件工具等多種業務。根據第三方權威數據,百度在中國的搜索份額超過80%,在全球范圍內每天處理的搜索查詢量已經超過了 50 億次,遠超Google。
需求分析
百度主營業務為搜索業務,目前采購服務器主要分為兩種機型:存儲型和均衡型服務器。對于搜索業務而言,存儲型服務器主要用于存放各種數據(包括網絡爬蟲獲取的數據、檢索數據庫、日志等等)。其采用12盤位的低端Intel服務器,采用了分布式文件系統(將文件分塊,分布存儲)和三副本技術(每一份數據存儲在4塊不同的硬盤上,并且這4塊硬盤分屬不同的服務器),所以采用性價比最高的3.5寸SATA硬盤即可滿足性能和可靠性要求。
均衡型服務器主要用于抓取、分析、索引器等角色,一般需要大容量內存,并且能夠實現高速的存取速度。為了提高索引速度、降低延遲,其采用并行計算系統實現搜索、檢索,還在服務器中配置了SSD硬盤用作熱點數據的緩存,并配合百度自己的軟件算法來實現性能提升(隨機讀取性能可以得到幾倍甚至幾十倍的提升)。
隨著用戶服務器采購規模的不斷擴大,13年百度服務器總保有量將超過20萬臺,用戶將在功耗以及運維方面面臨巨大壓力和挑戰:
試想每臺服務器的功耗高1瓦,如此數量的服務器就會高出至少20萬瓦,一年多支出的電費可想而知(按照每度電0.8元計算,節省下來的費用就有20萬 ÷ 1000 x 0.8元 x 24小時 x 365天 =140.16萬元)。而從另一個角度考慮,用戶所租用的機房中,每個機柜放置服務器的數量主要受到電流的限制,而不是帶寬的限制。目前電信機房的每個機柜限制電流在12A左右,以每臺服務器運行時最大功耗250瓦計算,則最多可以安放220V x 12A ÷ 250W =10.56臺,出于過流的風險考慮,則只能在一個機柜安放10臺服務器;如果每臺服務器都能節省下10W的功耗,那么每一個機柜就可以安放220V x 12A ÷ 240W =11臺,相比之前可以多放置一臺服務器。以放置10000臺服務器來計算的話,由于功耗的降低,之前需要使用1000個機柜來放置這些服務器,而現在只需要使用910個機柜就可以了,這樣在租用機房中就節省了90個機柜的占用空間,為用戶節省了大量的費用。
目前對于百度10萬臺數量級的服務器,在運維管理方面也勢必會面臨以下幾個問題:
系統上線部署問題
故障精確報警問題,涉及到具體如每條內存、每塊硬盤、每個風扇、每個電源模塊等
軟件及FirmWare批量更新、修改問題,如BIOS、BMC、RAID卡等Firmware在線更新維護
控制故障率,降低MTTR時間
以上每個環節都是很大的挑戰,客戶希望采購的服務器能夠整合對內和對外的資源管理、故障診斷,這樣大大地提升了效率,同時也節省了人力成本;另外也能將MTTR(平均故障修復時間)降到更低;主要部件的冗余與熱插拔要求也能極大地提高可靠性和可維護性。
方案設計
聯想全新一代ThinkServer服務器在開發之初就充分的考慮用戶應用需求,在能耗優化上做了很多努力:
高效電源:采用業界最高標準的黃金電源,達到94%的電源轉換效率;支持動態負載調節:RD530電源可動態調節兩個電源模塊的負載,均衡分配每個電源模塊的負載,保證電源的轉換效率。
寬體機箱:機箱設計比業界標準機箱寬6MM,增加風流截面積,降低風速,降低風扇轉速,降低功耗。
層級散熱:優先對處理器、內存等發熱量高的部件散熱,相比傳統的四層散熱設計可以減少高氣流的電阻和對處理器和內存的預熱,提升系統的散熱效率15%以上,從而達到節能的目的。
星空傳感技術:在整個服務器系統中密布超過50顆傳感器準確監控系統的溫度、電壓、功耗等系統狀態,為系統風扇調速提供精確數據,配合全自動的調速策略在保證散熱的情況下可有效節約風扇帶來的功耗。
ThinkServer在運維、管理方面也進行了多項優化
主要部件通用技術,提高家族產品完整性、一致性,降低產品維護難度,保護用戶投資,更帶來用戶管理數據中心的便利性;
故障自診斷模塊,快速定位或預警故障位置,包括CPU/內存/風扇/電源等;RD530采用刀鋒式導軌,包括上架以及服務器內部操作全部無螺絲設計;
BMC采用通用的IPMI V2.0接口,方便客戶自己開發集中監控、管理的軟件;隨機附送EasyManage管理軟件,通過 Web方式控制界面,可跨平臺使用,自動識別網絡中設備拓撲,實現對ThinkServer全線產品的管理,,支持物理機和虛擬機的監控管理。
高級節能管理軟件Smart Grid幫助系統管理員有效監控能源消耗及設備利用率,并可設定策略合理降低系統功耗。
除上述在設計之初考慮到的因素外,在整個項目進展過程中,聯想也配合客戶進行了多項軟件方面的優化工作以達到降低功耗和改善運維管理的目的,主要有以下幾個方面:
BIOS實現系統Idle狀態下CPU可以工作在Turbo最高頻率的功能,從而降低在提供搜索服務時的延遲
BIOS實現linux系統下修改BIOS選項的功能,提升運維效率
BMC實現NCSI功能(可靈活調整BMC share NIC功能,滿足不同機房網絡環境的運維需求)
BMC優化風扇調速策略,進一步降低功耗
用戶收益
百度采用傳承Think的傳奇基因、創新設計的ThinkServer服務器,結合聯想服務器集中管理平臺Easymanage,建立了高可用、高可靠、高性能的基礎架構,而ThinkServer出色的節能設計不僅提高了機柜放置服務器的密度,降低了總體擁有成本,更是幫助百度構建起一個綠色節能的數據中心,為百度未來業務的進一步健康、穩定發展,奠定了堅實的基礎。
百度認為,基于聯想ThinkServer服務器所構建的全新數據中心,完全滿足百度龐大的數據吞吐量和運算需求,為網友更加迅速、流暢、高效的搜索體驗建立了穩定可靠的IT基礎架構支持。本次對數據中心的大換血種,ThinkServer不但以穩定、安全、高效、易管理的基礎設施平臺支持了百度各方面業務的穩定、健康發展,更是以卓越的節能設計為百度構建起一個高密度、低能耗的綠色數據中心,這不但為百度節省的大量成本,還用IT基礎設施為百度建立了綠色的長青基業。