吳軍博士在《浪潮之巔》一書中寫道：在2000年前后，由于對互聯網發展過度樂觀，美國超前建設了大量互聯網基礎設施，包括數據中心和鋪設的光纜。到了2003年，生存下來的大型互聯網公司的業務恢復乃至超過了2000年以前的水平，原來留下的基礎設施面臨飽和。由于互聯網泡沫的殷鑒不遠，敢于大規模投資數據中心和網絡等基礎設施建設的公司不多，這類基礎設施建設的事情就落到了這些大互聯網公司自己身上。Google比其他公司更早的看到互聯網基礎設施的重要性，而負責工程的高級副總裁Urs H lzle在其中發揮了關鍵性的作用，貢獻主要體現在以下三個方面：

第一，在全球租用和收購已鋪設的光纜，以及鋪設新光纜，保證網速不會成為Google業務發展的瓶頸；

第二，搶先在全球布局，占據建設數據中心的最佳點；

第三，設計節能高效的服務器機柜，大大降低運營成本。

愛荷華州康瑟爾布拉夫斯（Council Bluffs, Iowa）的巨大天線，為Google的訪問服務（Access Services）裝置接收信號，通過光纖送往全球的家庭。這些天線也是Google Fiber的TV服務上百個電視頻道的主要信號源

作為較早期的Google員工，吳軍博士提到Google的人和事時，難免有一些溢美之詞。不過，沒有基礎設施先行，2004年推出的Gmail不可能一炮而紅（初期仍然需要通過邀請來控制用戶數量，換言之，限制服務的規模），而近些年來，Google在數據中心建設及相關技術上的領先地位，已是業界公認。從投入和規模上，堪與Google相提并論的，惟微軟與亞馬遜耳。

Google在俄克拉何馬州梅斯郡（Mayes County, Oklahoma） 的數據中心內景，每個服務器機架配備4臺交換機，采用不同顏色的線纜，便于故障后更換

難稱巧合的是，微軟與亞馬遜的數據中心建設，都與同一人有密切關系。

2006年，Sun發布了基于船運集裝箱的模塊化數據中心原型“Project Black Box”（黑箱項目），掀起了集裝箱數據中心的熱潮。微軟成為集裝箱數據中心的早期用戶之一，時任微軟Windows Live核心團隊架構師的James Hamilton認為基于集裝箱的商品化數據中心（Commodity Data Center）是數據中心基礎設施的未來。

 集裝箱數據中心具有便于運輸和室外部署等優勢

James Hamilton在IBM工作了11年，任至DB2首席架構師。來到微軟后，歷任SQL Server架構師和Exchange托管服務總經理。2007年1月中旬，James Hamilton出席亞馬遜內部開發者會議時介紹，在他領導Exchange托管服務團隊時，為220萬個坐席提供電子郵件反垃圾信息、防病毒和歸檔服務，帶來2700萬美元收入，約700臺服務器分布于全球的數據中心。

2008年12月，James Hamilton加入亞馬遜，擔任AWS（Amazon Web Services，亞馬遜網絡服務）副總裁兼杰出工程師至今。作為亞馬遜基礎設施領域的代言人，2011年James Hamilton在演講中透露，AWS每天增加的容量相當于公司第一個五年Amazon.com全球的基礎設施（當時還沒有AWS），即支撐一個年收入近28億美元的企業——到2014年，這一表述發展至“AWS每天新增的服務器容量可以支持亞馬遜作為一個年收入70億美元企業時的全球基礎設施”。

作為平臺型的互聯網公司，基礎設施乃核心及命脈所系，必須掌握在自己手里，不斷隨著業務的發展而追加投入，才能繼續參與競爭，而不被判出局。作為一個誕生在互聯網時代之前的“老派”企業，持續的基礎設施建設則是微軟從PC時代的平臺型公司，轉變為互聯網時代的平臺型公司的必要保障。

就在2015年2月初，Google公布的財報顯示，2014年第四季度在基礎設施上的花費達到創紀錄的35億美元，全年更接近110億美元；

Amazon第四季度超過11億美元，全年約49億美元；

微軟同一季度近15億美元，全年約53億美元；

Facebook全年超過18億美元，只相當于三巨頭一個季度的水平，但也已經比2013年高出34%……

Google每季度在基礎設施（資產和設備）上的花費從2012年的不到10億美元，一路攀升至2014年的超過30億美元，2014年全年超過亞馬遜與微軟之和

數據中心是IT設備（服務器、網絡、存儲等）的“家”，因而服務器數量是估算互聯網巨頭們基礎設施投入的另一參照，理論上也更直觀。但是，大到如此的規模，服務器數量幾乎每時每刻都在增長，精確數字只有自家才可能統計出來，偶爾會為了公關宣傳的需要透露大致的數量級。

Google視其服務器總量為機密，即使業內人士也只能推算。2007年1月初，James Hamilton估計Google在30個數據中心里有約50萬個系統（服務器）。2010年，有猜測說Google的服務器總量大約有90萬臺。總之，突破百萬大關只是個時間問題。

Google在Council Bluffs的數據中心超過11.5萬平方英尺（接近1.1萬平方米），以很高的空間利用率支持搜索和YouTube等服務

微軟的服務器數量也在快速增長。僅以Xbox為例：

2002年Xbox Live上線時有500臺服務器；

隨著Xbox 360推出，這一數字超過3000；

2013年5月，為Xbox Live服務的服務器已經達到15000臺，微軟宣稱Xbox One將推動服務器用量超過30萬臺。

2013年7月8日，時任CEO Steve Ballmer在微軟2013全球合作伙伴大會上宣布，在微軟數據中心基礎設施中有超過100萬臺服務器，比Google少，略多于亞馬遜（"Google is bigger than we are. Amazon is a little bit smaller."）。此時，通過用電量等指標推算，人們認為Google擁有的服務器數量已超過200萬臺。

微軟在德州圣安東尼奧的數據中心，注意看右邊路上汽車的大小，不難想象這個數據中心的占地面積之大，風格似與都柏林的數據中心不同

Bigger than bigger是2014年第四季度的流行詞，11月10日下午，James Hamilton向參加AWS re:Invent 2014大會的全球分析師們委婉地“明示”，AWS所擁有的服務器總量，早已超過100萬臺。至于何時超過，現在大約是多少，James Hamilton笑言公司的政策是不透露服務器總量……

很快，微軟云計算相關人士在面對中國媒體的采訪中，以同樣的手法予以回擊：微軟現在全球有19個區域，最大的一個有16個數據中心，60萬臺物理機。那么，總量有沒有200萬？也沒有答案。倒是2015年5月的消息說，由于在印度增加了2個區域，區域總數達到21個。

這就自然而然的引出了一個問題：百萬量級的服務器意味著什么？如何使用及管理遍布全球的數據中心？

數據中心即計算機（Datacenter as a Computer）

2009年，Urs H lzle與Luiz André Barroso合著的《The Datacenter as a Computer: An Introduction to the Design of Warehouse-Scale Machines》（數據中心即計算機：倉庫規模機器設計簡介）出版，簡要介紹了倉庫級計算機（Warehouse-Scale Computer，WSC）的方方面面。Google早期托管服務器（計算機）的場所不是那種對設備精心呵護的商業化數據中心，更像是有較充足電力供應和空調的大型倉庫，這一點也會在下一章有所討論。

截至2015年5月初，Google分布在全球13處的數據中心

2013年，這本書更新到第二版， Urs H lzle從第二作者變成第三作者，兩個版本總體上都更偏設計原則和數據中心基建（風火水電）部分，較少提及Google的工程實踐。要形象的理解Datacenter as a Computer，James Hamilton在AWS re:Invent 2014上的演講披露了更多的細節。

從大機（Mainframe）到Unix服務器（小型機），再到x86服務器，潮流的轉變周期至少以十年計。以Google、微軟、亞馬遜、Facebook為代表的超大規模（hyper-scale或web-scale）數據中心，可以說都是基于x86服務器的分布式計算體系——ARM的成規模應用尚需時日。

具體到亞馬遜，我們知道AWS有區域（Region）和可用區（Availability Zone，AZ）的概念。選擇區域可以靠近用戶、數據或滿足監管等需求，目前AWS在全球有11個區域，28個AZ。除了仍處于有限預覽階段的中國北京（截至2015年5月初），所有區域都由2個或以上的AZ組成。

AWS在全球的分布，北京即將擁有其第29個AZ？

從“可用區”這個名字上就能看出以高可用性（high availability，HA）為目標，AZ組成區域的根本原則是“就近”，相距小于2毫秒（ms）則可以在至少2個AZ之間進行同步復制，能夠故障切換（failover）而沒有數據丟失或不影響應用；還可以在不同AZ的EC2實例之間彈性負載均衡（Elastic Load Balancing，ELB），多AZ的EC2應用也相對容易；挑戰則在于DynamoDB、S3和Multi-AZ RDS（多可用區關系數據庫服務）等對持久化狀態（特別是存儲）有要求的應用。

AWS中多AZ的RDS實例比例呈逐年上升之勢

距離太遠，就只能采用異步復制了。譬如，提交到一個SSD需要1-2毫秒，但是洛杉磯到紐約（美國西南到東北，3982.9公里）的往返就要74毫秒，顯然不能等待這么久來提交這個交易。故障發生時，要么切換而丟失交易，要么不切換而喪失可用性，兩難的選擇。實際上，洛杉磯屬于美西（北加州）區域，紐約屬于美東（北維州）區域。私有的AWS光纖鏈路互連所有主要區域。

區域內的AZ之間可以無需管理員參與的（自動）故障切換，能夠與區域間的復制聯合使用，提供非常高的可用性。畢竟，距離近也意味著容易受同一自然（天氣或地質性等）或人為災害影響。

以一個包含5個AZ的區域（目前只有美東有這么多，其他最多3個）為例：區域內有多達82864個光纖束（fiber strand），AZ之間為城域DWDM（Dense WaveLength Division Multiplexing，密集波分復用）鏈路，延遲小于2ms，通常小于1ms，峰值流量達25Tbps。AZ通過冗余路徑連接到2個轉接中心，轉接中心通過私有鏈路連接到其他AWS區域、Direct Connect（AWS的一項服務，后面軟件定義存儲的章節有簡要介紹）客戶，Internet傳輸為對等付費方式。

從右上至左下，依次為AWS的全球分布、區域、可用區、數據中心之間的關系

每個AZ由1個或更多的數據中心構成，有些AZ的數據中心達到6個，數據中心不能跨AZ。AZ內的數據中心間相距不到四分之一毫秒（0.25ms），不必有AZ內的獨立性，但需要低延遲和全部帶寬。

亮點來了：單個數據中心通常超過5萬臺服務器，經常超過8萬臺！演講結束，我特意向James Hamilton確認，5年前AWS建設的數據中心就有這樣的能力。這樣，即使以最保守的每個數據中心5萬臺，每個AZ只有1個數據中心，28個AZ（北京短期內恐怕達不到此水平），AWS的服務器總量也明顯超過了100萬臺（140萬+），實際上應該不止此數（考慮一下6個數據中心的AZ）。

提供給一個數據中心的帶寬可達102Tbps。AWS不需要更大的數據中心（譬如，10萬臺及以上），也不希望數據中心之間距離太近。據未經證實的消息，AWS最初在寧夏的規劃，是3個相互間距離50公里的數據中心。

無論AWS在寧夏的發展如何，北京還會繼續增加數據中心以形成AZ，因為從前面的介紹不難看出，以北京和寧夏之間的距離，不能是同一個區域，更不會是同一個AZ。按照同樣的原則，如果上海有數據中心，也應該是另一個區域。北京區域要增加AZ，必須在北京周邊解決。往壞的方面說，寧夏幫不上北京的忙；往好的方面說，AWS在中國的正式商用，不必等寧夏的進度。

多可用區MySQL RDS的同步復制（左）與Amazon Aurora RDS的3可用區6路復制（右）

互聯網巨頭們自研（或部分自研）的數據庫應用很好的體現了跨多個數據中心的基礎設施優勢，AWS在re:Invent 2014大會上公布的MySQL兼容RDBMS（Relational Database Management System，關系數據庫管理系統）Aurora，作為AWS RDS（Relational Database Service，關系型數據庫服務）家族的新成員，宣稱以云服務的價格提供企業級數據庫軟件的功能，支持多達16路讀副本（RDS MySQL為5路）、可達64TB的表（RDS/MySQL為3TB） ，跨3個可用區的6路復制（即使2個數據中心不可用仍不會丟失數據），為11個9（99.999999999%）的耐久性設計，近即時故障切換，能夠從存儲故障中自動恢復……均與基礎設施的支持緊密相關。在Google F1和阿里巴巴OceanBase這兩個旨在替代MySQL的分布式關系型數據庫的描述中，也都可以看到基礎設施支持的表達。