在信息技術快速發展的背景下,數據中心作為各行各業的信息基礎設施,為數字經濟轉型提供了重要支撐,也是未來云網融合發展的戰略性基礎資源,是決定移動、寬帶用戶體驗的內容資源和云計算、大數據等新興業務的基礎承載設施,進而數據中心的規劃布局將成為行業關注的重點。同時,資本市場也對“新基建”躍躍欲試,有助于數據中心實現規模建設。
國內數據中心的發展經歷了由運營商主導的以通信機樓為主的分散、小規模化發展階段,逐步向市場驅動的規?;?、標準化、高密度、綠色節能方向發展。盡管國內數據中心發展有一定的基礎,但數據中心整體布局仍然存在東部資源緊張、西部資源空閑等問題,如何在現有數據中心布局的基礎上進一步優化結構、提升效益、精準投入,以應對未來新興業務發展需求是大數據中心發展演進的關鍵環節。
大數據中心布局驅動力
5G與云計算、IoT、AI、邊緣計算等新興技術的互促發展,使大數據中心成為未來核心的信息基礎設施載體可提供強有力和廣泛的基礎設施保障。算力、數據存儲量以及PUE能效等問題都對數據中心布局提出了新的要求,超大型和大中型數據中心服務采用遠端部署,降低成本,處理“冷溫數據”和非時效性較高的業務;邊緣計算數據中心采用分布式部署,滿足超低時延、高實時性、高安全性、本地化等需求場景,這種兩極分布將成為未來數據中心產業新形態。
5G、物聯網、云計算等新興技術將帶動數據量爆炸式增長,引領數據中心需求猛增。根據思科預測,2025年全球數據流量將會從2016年的16ZB上升至163ZB,帶動數據中心總體建設規模持續高速增長,并且集約化建設的大型數據中心比重將進一步增加。新興技術催生數據量的爆炸式增長,數據中心大型化、園區化、集群化趨勢明顯。隨著云計算技術的規模商用,大型云基礎設施要求在相對集中的區域內部署多個大型數據中心園區,滿足其超大規模計算和數據存儲的需要。
海量的數據處理能力和能耗要求影響數據中心的總體布局。自2012年以來,業界最大規模的人工智能訓練(如2012年的AlexNet、2014年的GoogleNet、2017年的AlphaZero等)使用的計算量成指數級增長,過去的六七年間計算量已經增長了30多萬倍。因此,未來滿足人工智能領域激增的計算需求,作為計算能力主要提供者的數據中心相關技術也面臨新的挑戰。AI服務器引入新的計算核心和架構以滿足人工智能計算負載的需求,將直接關系到與之相匹配的供電、散熱、功耗等關鍵技術。而隨著政策對一線城市能耗限制逐漸嚴格,考慮到中西部地區電價遠低于東部地區,使得大型和超大型數據中心需在更大地域范圍內布局,以降低綜合成本和能耗水平。
2020年國民經濟和社會發展計劃草案明確實施全國一體化大數據中心建設重大工程,布局10個左右區域級數據中心集群和智能計算中心;十三五規劃明確了13個城市群,以及“京津冀協同”“長江經濟帶”“大數據綜合試驗區”等多項政策使得區域間的協同發展更加緊密,產業和資源隨著人口而聚集,由都市圈引領城市群發展、城市群帶動區域發展將是數據中心發展的新模式。
總之,政策引領、行業數字化轉型發展以及信息技術的迭代演進將成為數據中心布局的核心驅動力。
大數據中心布局思考
整體布局架構
低時延、高帶寬、高并發的業務需求驅使數據中心層次化布局。面向未來,依據服務區域用戶分布、業務承接模型、建設運營成本等差異,打造層次化的數據中心布局架構,如圖1所示。
大數據中心整體布局架構
國家級數據中心的定位及布局要求
國家級數據中心主要面向全國性經營業務、大型客戶托管類業務,且主要為冷數據、離線計算分析以及其他對網絡時延要求較低的業務;以建設超大型數據中心園區或集群為主,考慮到建設運營成本,園區優先選擇政策利好、能源充足、土地成本低、自然氣候適宜、自然冷源充沛、地質穩定的區域規劃布局。
網絡互聯要求方面,國家級數據中心應具備建設骨干網節點的傳輸、光纜資源及安全可靠性要求,同時需具備多個直連骨干網鏈路,實現全國性業務的快速轉接。國家級數據中心彼此間互為備份,進一步提升數據中心的安全可靠性。
區域級(省級)數據中心的定位及布局要求
區域級(省級)集中數據中心主要面向區域集中經營業務,以溫數據為主;建設規模以大中型園區或集群為主,需統籌考慮國家及地方相關政策、市場業務驅動、網絡能力、災備等多種因素。
首先,受市場和業務驅動力因素的影響大,重點布局需求旺盛、發展潛力大或信息產業集群區的省級/市及周邊。
其次,網絡能力需考慮所服務區域內用戶訪問、業務時延、安全可靠性等要求。
在用戶訪問方面,要滿足區域內用戶業務訪問需求,其數據中心出口主要與省內城域網出口、IDC匯聚、骨干網節點互聯實現流量省內本地化轉接,對于主要服務外省客戶可實現IDC出口與省外骨干網節點直連;區域內數據中心間組建MESH網絡。
在業務時延方面,為了保障區域間數據中心的時延,通過區域內各主要數據中心與骨干網直連,減少數據中心間跳數,保證不同區域間數據中心互訪的網絡時延要求。區域內數據中心考慮到云業務跨數據中心的調度、遷移、互訪、同步等時延要求,采用數據中心間光纜直驅互聯方式。
在安全可靠性方面,區域級數據中心的建設布局還需考慮可用性和容災管理的需求,兩地三中心、分布式多活將是未來區域數據中心布局與架構演進的方向。
最后,考慮到未來云計算業務將成為大數據中心的主要業務,區域內將部署多個大中型數據中心園區,以滿足計算、存儲的要求。如亞馬遜區域級數據中心集群通常包含多個大型數據中心單體建筑組成,可滿足數十萬規模服務器部署需求。為了更好的匹配云計算業務的承載需求,區域數據中心布局應考慮云Region(以區域內的核心城市為中心布局云的地域)和AZ(Region內布局多個可用區)規劃要求。
如圖2所示,Region之間完全隔離,保證不同Region間最大程度的穩定性和容錯性。可用區(AZ)為電力和網絡互相獨立的物理區域,同一AZ內實例之間的網絡延時最小,AZ之間內網互通,故障隔離,不出現故障擴散,使得用戶的業務持續在線服務。
云Region和AZ架構圖
Region間考慮跨域備份,保證高速傳輸帶寬系統容量超過10TB.AZ間可利用低延遲光纖網絡互聯,同時保證超大帶寬互通能力,通常兩點間容量超過20TB。對于多AZ間以及AZ內部既滿足災備建設與業務聯系的要求,多個數據中心在建設上可以循序漸進地展開,又彼此保持一定的獨立性,未來擴容升級可與現有架構保持良好兼容,同時多中心之間地位均等,并行地為業務訪問提供服務,合理的布局能夠實現對數據中心資源的充分合理利用。
邊緣數據中心
超低時延的5G 、AI和工業物聯網應用需要具備近端構建算力、本地化處理業務和可定制化等特定能力,促使云端數據處理能力下沉,海量輕量化邊緣數據中心的需求涌現。邊緣數據中心部署靠近信息源,具有屬地化(地級市及以下)部署特點,分布極為廣泛,滿足屬地用戶需求,具有規模小、數量多、分散部署等特點。而運營商擁有大量的邊緣機房,在邊緣數據中心的部署中具有天然的優勢。邊緣數據中心更多面向5G、人工智能、物聯網等新興技術的落地部署,需保障用戶業務體驗的同時兼顧安全可靠性。因此數據中心布局既要盡可能地靠近用戶端保障用戶業務體驗要求,又要滿足邊緣數據中心機房資源和配套、網絡的安全可靠性要求,基于上述要求,邊緣數據中心部署的業務匹配流程如圖3所示。
邊緣數據中心的業務匹配流程
考慮到用戶的移動性,受限于邊緣數據中心規模和可提供算力的限制,邊緣之間、邊緣與云數據中心之間的數據、業務遷移將更加頻繁。而這對邊緣數據中心與云數據中心間,以及邊緣數據中心彼此之間的網絡提出了更高的要求。為了更好地適應邊緣業務需求,邊緣數據中心與云數據中心間依靠現有城域網或骨干網的物理鏈路,借助SR、EVPN等技術實現邊—云間的點到點業務轉發路徑;邊緣數據中心彼此間依靠現有本地網光纜傳輸環,同樣借助SR、EVPN、OTN等專線技術,以及行業主推的以算力為目標的快速轉發策略,建立點到點、點到多點的業務轉發路徑。
用戶端節點
用戶端節點主要滿足園區企業內、用戶個性化場景等更加切近用戶端的業務需求,業務規模通常較小,以單臺或多臺服務器為主,可部署于綜合局站、基站、接入局所等多場景。用戶端機房的配套設施、出局光纜的可用性和可靠性通常差異性較大,機房環境較差,宜采用定制化設備,如擴寬設備正常運行溫度范圍以適應周邊環境要求,集成自備電池提升運行等手段,提升業務的可靠承接。
大數據中心的發展演進
當前國內數據中心相互分離,“煙囪”效應明顯。在新一輪數據中心大發展中,需要在國家、區域、省市等多個層面統籌數據中心的共建共享,按照統一戰略、統一方向、統一規劃、統一標準等方式進行協同布局和建設,才能有效支撐新興數字化業務的蓬勃發展,發揮信息基礎設施基石的關鍵作用。
建設模式多樣化、標準化和模塊化是重要抓手
·建設模式的多樣化
數據中心因其重資產屬性,建設周期長,受市場因素影響大,存在一定的風險。傳統的單一自投自建的數據中心建設模式,將隨著“新基建”、公募REITs試點等支持政策的持續推出,逐步向多樣化轉變,如基金合作、股權、合作建設合作運營、租賃等模式,實現布局優化和資源高效利用。
·建設標準化、模塊化
數據中心建設趨向標準化和規范化,包括數據中心選址、布局、結構、內部規劃的建筑和環境層面,以及IT設備和供配電制冷層面的設備的選型、節能優化等相關的國家標準、行業標準、以及相關組織(如OCP、ODCC、GCC等),都在大力推進數據中心建設的標準化和規范化。
同時針對不同的需求場景,建設方式也呈現多樣化,如倉儲式、集裝箱、微模塊等標準化的模塊化,可以實現快速搭建組裝,最大程度地降低基礎設施對機房環境的耦合,提高數據中心的整體運營效率,實現快速部署、彈性擴展和綠色節能。
數據中心的綠色節能是關鍵舉措
大數據中心本質是電力轉換為算力,算力轉換為IT服務,隨著計算能力不斷提升,數據中心節能也成為了行業關注的焦點,建設綠色、節能成為數據中心必然趨勢。伴隨著國家政策引導,IT設備的技術與效率的不斷提高,制冷和供配電等基礎設施技術的不斷改進,相對于算力的快速增長,數據中心能耗增長呈現放緩的趨勢,與2010年相比,2018年全球數據中心計算實例增加了550%,而同期耗電量僅增加了6%。然而未來3~4年數據中心計算實例翻倍,因此,數據中心節能將成為行業關注的重中之重,下面筆者將從IT設備和運營、制冷和供配電維度進行探討數據中心的研究趨勢。
·IT設備和運營的綠色節能
傳統的計算能力遵循摩爾定律,單位芯片面積的計算能力在穩步提升;同樣根據 OpenAI研究顯示,從2012年以來,用于AI模型訓練的計算能力每3.4個月將翻倍,這很大程度上降低了IT設備的單位計算實例能耗。另外借助AI和大數據技術,實現不同應用場景、不同站點、不同時間的協同節能,在保證正常性能的基礎上,使節能效果最大化,實現能耗與性能的最佳平衡。如谷歌采用AI技術,將數據中心服務器、供配電、冷卻設備綜合考慮,依據數據中心設備的運轉狀態與天氣等因素,優化冷卻設備的設定、服務器休眠等舉措,使整體功耗達到最小,為行業應用推廣提供了很好的借鑒。
·供電方式和制冷的主要節能方式
在數據中心能耗中,制冷和供電系統能耗僅次于IT設備;如PUE=1.5的數據中心,制冷和供電系統消耗約占整體能耗的40%左右。探索低能耗提升效率,優化制冷和配電系統成為業界研究的重點。如在設備供電方面,高壓直流(HVDC)供電相比交流的UPS減少了整流逆變環節,其工作效率有較大程度的提升,但卻面臨現有存量改造規模大、成本高等問題,亟待解決。
隨著設備功耗的逐步提升,傳統的風冷面臨著效率低、難于滿足需求的問題;借助自然冷卻技術存在依賴周邊環境,難于廣泛推廣;浸沒式液冷技術將IT設備浸沒在絕緣冷卻液中,借助冷卻液吸收IT設備產生的熱量,具有靜音效果好、機柜放置設備密度高、占地空間小的優點,可以很大程度上節省TCO成本。
在國家“新基建”戰略引導以及5G、云計算、AI、大數據等新興技術的驅動下,大數據中心將迎來新一輪的發展,并隨信息技術發展而不斷演進。如何在現有數據中心布局的基礎上進一步優化結構、提升效益、精準投入,以達到戰略性信息基礎資源儲備的需要,是整個行業關注的重點。本文探討了大數據中心背后的業務驅動力,并對數據中心布局的關鍵因素、面向云業務場景的數據中心布局思路進行了梳理和思考,提出了面向未來數據中心發展演進的趨勢和方向,為后續數據中心行業的規劃建設和發展提供參考依據。相信在國家戰略及相應政策的支持下,伴隨著數字化技術的快速發展,大數據中心將向著更加理性、智能、綠色、節能的方向規模發展。