根據相關機構的預測,數據中心的存儲容量市場增長沒有放緩的跡象。思科公司預計,到2019年,使用個人云存儲服務的全球互聯網用戶(20億)將從2014年的42%增長到2019年的55%,每個用戶每月消費的云存儲流量將從2014年的992兆字節增長到2019年的1.6GB字節。思科公司稱之為“萬物聯網”的物聯網數據將會從2014年的134.5ZB字節增長到2019年的507.5ZB字節。
不用說,這是一個龐大的數據量,需要大量的存儲空間,而谷歌公司需要采用各種方法對此進行根本性轉變,該公司的工程師提議要重新思考數據中心存儲系統的設計。
云計算需要不同的磁盤
在2016年文件和存儲技術國際會議(FAST2016年)上,谷歌公司基礎設施副總裁埃里克·布魯爾表示,該公司希望與產業界和學術界合作開發支持云數據中心的適合云存儲服務的磁盤。他認為,云計算的存儲方式興起,意味著大多數機械硬盤將成為主要部署在數據中心大容量存儲服務的一部分。這樣的服務已經成為磁盤增長最快的市場,并將在不久的將來占據大部分市場。
他以谷歌子公司YouTube作為一個例子,最近來自DisksforDataCenters的一篇論文指出,全球用戶每分鐘向YouTube網站上傳的視頻超過400小時,而在每天中,其1小時的視頻需要添加1PB字節的數據中心存儲容量。
面對一個如此依賴于這一基本技術的行業,這是一個艱難的現實。目前這一代的磁盤,通常被稱為“近線企業”的磁盤,并沒有為這個新的使用案例進行優化,它們被設計成滿足傳統服務器的需求。谷歌公司認為,這需要技術人員花費時間來開發一種新的專門針對大型數據中心和云服務設計的磁盤。
谷歌公司并不是唯一一個尋找新的存儲問題答案的廠商。面對存儲容量的需求不斷增長的問題,來自微軟和華盛頓大學的研究人員最近發表了一篇論文,該論文主張進一步探索利用DNA片段對數據進行編碼和存儲,并對迄今為止已經探索的這種編碼系統提出了重大改進建議。
讓我們退后一步,從谷歌公司的角度看存儲。首先,該公司說你應該停止尋找單個磁盤(甚至是數組)作為獨立的技術。相反,是時候把重點放在“收集”上。
谷歌公司提出的三種存儲的關鍵變化:
(1)在“集合視圖”中,其中重點收集了大量的磁盤的性能匯總
(2)將重點放在使用存儲的現場服務的潛伏尾期
(3)從存儲別人的數據中了解變化的安全需求
收集視圖
收集視圖意味著更高級別的維護,包括背景檢查,總結,檢測潛在的錯誤,數據再平衡,更均衡地使用磁盤(包括新的磁盤),以及數據復制和重建。現代磁盤的這些變化發生在內部,這是部分冗余,而通過自身的單個磁盤不能滿足要求。同時,磁盤包含了低層次細節,這通常有利于新的API,使磁盤和更高級別的系統之間有更好的廣泛合作。
集合視圖的第三個方面是,谷歌公司優化IOPS和容量的整體平衡,利用隨時間變化的驅動器的一個精心挑選的組合。谷歌公司選擇新的磁盤,以便增加邊際IOPS和容量,使谷歌公司更接近他們的總體目標。工作量的變化,如更好地利用固態硬盤或RAM,并轉移總體目標。
為什么不是固態硬盤?
但是,為什么我們談論了這么多都是圍繞機械磁盤,而不是固態硬盤,而固態硬盤的讀取速度更快,而其成本已經開始下降。
可以說,固態硬盤提供更好的IOPS,并很有可能是未來的存儲技術。但谷歌公司表示,每GB的成本仍然太高。更重要的是,在機械磁盤和固態硬盤之間的每美元容量的增長速度都比較接近(使用數據中心的固態硬盤,其程序擦除周期至少具有足夠數量),所以其成本不會在未來十年發生太大的變化。谷歌公司確實大量使用固態硬盤,但它們主要用于高性能工作負載和緩存方面,這有助于磁盤存儲需求轉移到固態硬盤。
重新設計的磁盤
如今,這樣的事情變得更加有趣。谷歌基公司本上是呼吁業界來全面建立一個新的磁盤設計標準。
谷歌公司指出,目前的3.5英寸硬盤幾何形狀和大小繼承PC軟盤的設計。另一種形式的因素應該會產生一個更好的總擁有成本。改變外形是一個長期的過程,需要一個廣泛的討論,但谷歌公司認為它應該考慮。雖然該公司可以規范其自身的形式(高容量),其潛在的問題超出了谷歌的設計與業界一起開發新的解決方案可以更好地服務于大家,尤其是實現一個標準。這就是一個關鍵點:標準化。
有一系列可能的二次優化,其中一些可能是重要的。這些包括系統級熱優化,系統水平振動優化、自動化和機器人處理優化,系統級氦備份優化和系統水平權重優化。
“傳統”的數據中心存儲的未來是什么?
是的,基于云的存儲繼續以驚人的速度增長。是的,我們看到更多的采用新的端點技術,物聯網和虛擬化。所有這些都圍繞創建存儲和數據優化的更多需求。
但是在你心慌,并開始尋找未來的存儲方案之前,你必須了解有谷歌公司所提議的有多大承諾。谷歌公司的建議將重新定義現代標準化的磁盤架構,而這種架構已經存在了相當長的一段時間。
1956年,IBM公司推出了第一款硬盤驅動器RAMAC305系統,其存儲容量為5MB,每兆數據價格為1萬美元。該系統的體積有兩個冰箱大小,采用50個24寸磁盤。1980年,希捷公司發布了第一個5.25英寸硬盤。然后在1983年,Rodime公司發布了世界上第一個3.5英寸硬盤;R0352硬盤包括兩個盤片,其存儲容量為10MB。
在他們的文件中,谷歌公司討論了物理變化,如更高密度的驅動器和磁盤組,以及一系列的固件的變化。他們討論公司的目標,包括更高的容量和更多的I/O每秒的操作,除了一個更好的總擁有成本。但即使是谷歌公司這樣的規模,以及不確定的市場需求,那這種想法如何可行?
我們談論的是每個業務和數據中心創建一個新的存儲標準,以及充分利用基于磁盤環境的生態系統。谷歌認為這將是數據中心的存儲磁盤的新時代。
技術發展似乎是一個巨大的上升電梯。隨著時間的推移,存儲技術不斷進步。也許是時候開發能夠滿足云計算生態系統需求的存儲環境了。無論哪種方式,這是不容易的任務,需要整個行業的支持,使其成為現實。