設想你公司有成百上千的決策、管理人員,他們工作中需要通過交換信息,彼此商量來進行緊密配合,你可能會選擇把公司辦公總部安排在如上海陸家嘴這樣的市中心地點。雖然地價昂貴,但是便利的地點讓公司能及時高效地運行。又設想你公司有大量的貨品需要存放轉運,那公司的貨品的倉庫多半會選擇在遠郊靠近機場碼頭地地方,地價便宜,轉運方便。
在設計計算機系統時,人們卻還注意到地價的概念。而簡單地認為CPU、內存、磁盤都是對等的計算機部件。其實地價在計算機系統中也是寸土寸金。簡單來說,越靠近CPU,能提供的I/O聯接就越高速、廉價、低延遲,因此靠近CPU的物理空間價值就越高,而離CPU遠的空間,物理空間的價值就越低。依此概念,數據中心的外部存儲,可類比為地處遠郊的數據“倉庫”。
典型的刀片服務器中地價的概念就十分突出。通常刀片服務器由一個具有高速互連背板的多槽位機框為系統的基礎。通常機框都價格不菲。通常廠家都會提供不同配置的CPU刀片(服務器結點)、存儲刀片(多盤位JBOD)和交換刀片供用戶選擇。不需對具體產品價格做計算,我們光是考慮到刀片服務器的昂貴地價,就可做如下的簡單結論:
1) CPU刀片上最好不要有磁盤,同樣的寶貴空間,配置多些個CPU, 內存條,通常會更合理。
2) 存儲刀片也最好避免購買,同樣的寶貴槽位,不如留給更有價值的CPU/交換刀片使用。
3) 外部連接個JBOD來提供整個刀片服務器所有CPU所需要的存儲空間,既經濟,又便于擴容。
在大型數據中心的硬件系統中,同樣的地價因素也在起作用。下圖說明,通過減少每個結點的磁盤數目,可以把服務器的密度成倍提高。從1U位置容納單個結點,提升為1U2,還可進一步提升為1U3、1U4。目前業界的最高密度大致每機架可容納160個服務器結點,共320個CPU,比傳統的機架密度提升了4倍以上。
效率的提升,除了在物理空間的更充分利用之外,還合適的封裝邊界內帶來了設備共享的機會,比如Facebook 的4個結點,就可共享同一個以太網卡,PMC+Intel RSA的參考設計中,可在4太服務器結點中共享若干個NVMe SSD。因為當這些結點被高密度地封裝在1U的空間中,就可能通過便宜的PCB連接實現PCIe的高速互連來實現設備的共享,而不會引入昂貴的額外線纜成本。
在天蝎2.0機架中,合作廠商已實現了插入機架的SAS Switch、JBOD等具體產品,因此搭建一個基于SAS Switch的存儲方案已經是十分易行:
有了這樣的物理構架,如何在一個機架上優化資源使用效率呢?具體來說,部署機架前如何決定要配置多少服務器結點,多少JBOD呢?簡單來說,這個問題的答案在于具體應用的資源配比特性,其中最重要的一個就是CPU和盤的數目比例??赏ㄟ^對應用的性能評測來計算這個配比的范圍,來決定設備的最初部署比例,而在部署后的長期運行過程中,還可以就每個CPU的動態運行狀態來進行動態優化。
流程如下:
依次基本方法,可在企業和數據中心中部署SAS Switch技術。