隨著數(shù)據(jù)公司的涌現(xiàn)和業(yè)務發(fā)展,全球優(yōu)秀的云計算供應商都推出了一種云存儲服務,有可能取代某些市場部分的傳統(tǒng)備份產(chǎn)品和服務。冷數(shù)據(jù)云存儲服務正在改變組織存儲和傳遞大量信息的方式。最大的問題是冷數(shù)據(jù)存儲是否能提供更好的備份經(jīng)濟性。
如今,亞馬遜網(wǎng)絡服務,谷歌云平臺,以及微軟公司都提供了冷數(shù)據(jù)云存儲服務的產(chǎn)品。每個公司都有一個不同的方法,那么他們的方法如何進行比較?
這是一個專門為數(shù)據(jù)訪問不太頻繁設計的的存儲服務器。其作用是存儲例如存儲在Facebook網(wǎng)站中的老照片。該公司優(yōu)化了低硬件成本,高容量和存儲密度,以及低功耗。Facebook公司建立了獨立的簡化的數(shù)據(jù)中心,只是為了容納這些冷數(shù)據(jù)存儲服務器
處理海量數(shù)據(jù)
事實上,所有的分析師都預測今后云服務市場將繼續(xù)增長,并且是快速增長。調查機構Gartner公司近日表示,云計算將成為今年新的IT新的主要支出。這將是數(shù)據(jù)中心空間決定性的一年,因為私有云開始讓位給混合云,而將近一半的大型企業(yè)將在2017年底部署混合云。
那么我們創(chuàng)造了多少數(shù)據(jù)?根據(jù)思科公司估計,全球數(shù)據(jù)中心流量已經(jīng)進入澤字節(jié)時代,數(shù)據(jù)量從2014年的3.4ZB增長到2019年的10.4ZB。其中云計算流量迅速增長是數(shù)據(jù)中心流量增長的一個主要原因,2019年云計算流量將達到8.6ZB。
隨著谷歌公司和亞馬遜公司已經(jīng)進軍冷數(shù)據(jù)存儲市場,微軟公司決定加入這個行列。今年四月,微軟宣布其CoolBlob存儲產(chǎn)品全面上市,這是一個冷數(shù)據(jù)對象的低成本存儲產(chǎn)品。
它有什么作用?
微軟公司在四月上市的CoolBlob存儲產(chǎn)品具有一些特定功能,例如備份、媒體內容、科學數(shù)據(jù)、法規(guī)遵從、檔案數(shù)據(jù)等。從本質上講,這些數(shù)據(jù)很少有人訪問,這適用于冷數(shù)據(jù)存儲:其中包括法定數(shù)據(jù),信息的第三個副本,由于合規(guī)性需要保留更長時間的數(shù)據(jù),以及檔案信息等,這些都是很好的例子。那么,什么樣的冷存儲數(shù)據(jù)來自更多的傳統(tǒng)的存儲選項?
讓我們從一個定義開始:冷數(shù)據(jù)存儲被定義為不活動的數(shù)據(jù)的操作模式和存儲系統(tǒng)。它相對于其他存儲解決方案來說有明確的取舍。當部署冷數(shù)據(jù)存儲時,預計數(shù)據(jù)檢索時間將超出通常可以接受的可能被認為在線或生產(chǎn)應用的時間。這樣做是為了節(jié)約投資和運營成本。
以社交媒體Facebook公司為例,F(xiàn)acebook公司每天都要儲存來自用戶的3.5億張圖片,這些圖片將添加到Facebook公司已有的2400億張圖片庫中。這些圖片按照協(xié)議是不能刪除的,但其中大部分的照片,人們不會每天都訪問和觀看,但仍需要將它們一直儲存在磁盤中。
最后,它意味著使用合適的冷存儲備份解決方案,需要專門提供適合企業(yè)業(yè)務和工作負載。現(xiàn)實情況是,并不是所有的冷數(shù)據(jù)存儲都是一樣的。牢記這一點,讓我們來看看這三個行業(yè)主要廠商的產(chǎn)品。
谷歌近線:谷歌公司2015年宣布其近線存儲產(chǎn)品,很快被認為是存儲市場中的一個突破性的解決方案。為什么如此?是因為該公司有一個非常快(僅需幾秒)檢索時間的直接承諾。與市場領導者亞馬遜公司的AWS冰川冷存儲產(chǎn)品相比,其速度是相當快的。據(jù)谷歌公司表示,還提供了一款低于公司標準的近線歸檔存儲產(chǎn)品,其成本更低,但可用性和延遲時間稍高。近線存儲產(chǎn)品首字節(jié)傳輸時間(timetofirstbyte)的時間為2秒到5秒。當你與其他解決方案相比時,該公司可以被看作是一個真正的游戲規(guī)則的制定者。然而,這個產(chǎn)品也有一些問題。
其中的原因之一是,谷歌近線限制數(shù)據(jù)檢索的速度為每TB存儲4MB/秒,這樣的吞吐量將使存儲消耗造成了線性增長和擴展。因此,你可能發(fā)現(xiàn)為了訪問一個比特,自己需要下載大量的數(shù)據(jù)。然而,一種稱為點播I/O技術可以增加吞吐量,采用這種技術,你采用谷歌云存儲近線的檢索速度將比默認配置4MB/s要快得多,但有兩件事要記住:
1、按需I/O默認關閉。
2.點播I/O只適用于近線存儲,對其他的標準存儲或低成本存儲服務的存儲I/O沒有任何影響。
總體而言,谷歌承諾提供一個低成本,高耐用性和高可用性的可用于數(shù)據(jù)存檔,在線備份和災難恢復的存儲服務。可以立即提供數(shù)據(jù),而不是幾小時或幾天內。近線存儲以3秒鐘的平均響應時間和1美分/GB每月的價格,可以為用戶帶來較低的成本。此外,它可以讓你存儲“無限”的數(shù)據(jù),并通過谷歌云平臺存儲的API的快速訪問,數(shù)據(jù)檢索的響應時間約為3秒。
最后,還提供一些數(shù)據(jù)導入的功能。除了點播I/O,也有轉讓服務。這基本上可以讓用戶從亞馬遜S3,HTTP/HTTPS站點,以及現(xiàn)場部署來導入數(shù)據(jù)。這個過程可以是自動化的完整生命周期管理。
亞馬遜的AWS冰川:作為全球行業(yè)廠商領先的冷數(shù)據(jù)存儲解決方案之一,冰川是一個數(shù)據(jù)歸檔和在線備份安全,并具有極低成本的存儲服務。可以允許客戶存儲大量或少量的數(shù)據(jù)。亞馬遜的定價可以低至每GB每月1美分,企業(yè)實施內部部署解決方案可以節(jié)省大量的成本。為了保持低成本,冰川還對檢索時間進行了優(yōu)化,對于那些很少訪問的數(shù)據(jù)檢索時間設為幾個小時是合適的。冰川和近線在檢索和交付1TB的數(shù)據(jù)時將有很大的不同。冰川對于存儲對象檢索的時間大約3到5個小時,完全下載為4個小時。而采用谷歌近線存儲產(chǎn)品的客戶4小時只能下載5%,而完整下載1TB數(shù)據(jù)的時間約為69小時。
在AWS冰川環(huán)境中,數(shù)據(jù)被存儲在“檔案”中,一個存檔可以是任何數(shù)據(jù),如照片、視頻或文檔。你可以上傳一個單一的文件存檔或匯總多個文件到一個TAR或ZIP等壓縮文件,并將其作為一個存檔上傳。
一個單一的檔案可以為40TB大小。你可以采用亞馬遜冰川存儲無限量的檔案和無限量的數(shù)據(jù)。在創(chuàng)建時,每個歸檔都被分配一個唯一的歸檔標識,并且該歸檔的內容是不可變的,這意味著在創(chuàng)建了一個歸檔之后,它不能被更新。
在這里,亞馬遜冰川使用“vaults”作為容器來儲存檔案。你可以在AWS管理控制臺查看存儲庫的列表,并使用AWS的SDK執(zhí)行各種庫的操作,如創(chuàng)建vaults,刪除vaults,鎖定vaults,vaults元數(shù)據(jù),檢索庫庫存,標簽存儲庫中篩選和配置vaults通知。你還可以在每個磁帶庫授予或拒絕特定的活動,為用戶設置訪問策略。一個單一的AWS帳戶下,你最多可以有1000個vaults。
一旦你的數(shù)據(jù)在vault中,管理員將有機會使用一些精細的控制功能,其中包括機會:
·庫存
·訪問控制
·訪問策略
·鎖定庫(例如,讀寫許多控件)
·審核日志
·集成的生命周期管理
·高級和低級AWSAPI集成
·數(shù)據(jù)保護
·數(shù)據(jù)可靠性
微軟公司的CoolBlobStorage:這是微軟公司于今年四月推出存儲產(chǎn)品的追趕之舉。
微軟Azure的冷數(shù)據(jù)存儲層對于不經(jīng)常訪問和長壽命的數(shù)據(jù)存儲進行了優(yōu)化。微軟公司的CoolBlobStorage的存儲成本為1到48美分每月每GB,這取決于地區(qū)和存儲的數(shù)據(jù)總量。而對于“熱”的BlobStorage,也就是經(jīng)常訪問的數(shù)據(jù),存儲成本為2.23到618美分每月每GB。在某些情況下,將一些數(shù)據(jù)存儲在冷存儲層可以節(jié)省50%以上的成本。
這里有一個重要的注意事項:要注意收費和計費,因為這個價格可能仍然在變化。微軟指出,為了讓用戶嘗試新的存儲層和驗證功能,在產(chǎn)品發(fā)布后,訪問冷數(shù)據(jù)到熱數(shù)據(jù)存儲層的收費方法將被放棄,這個方法只保持到20166月30日。從20167月1日起,將所有的應用到從冷數(shù)據(jù)存儲轉換到熱數(shù)據(jù)存儲。
微軟公司強調,用戶可以基于其訪問模式在冷熱存儲訪問層之間選擇存儲對象數(shù)據(jù)。這里要注意一些功能:
·API集成(但只與其他現(xiàn)有的Blob存儲產(chǎn)品集成)
·安全
·可擴展性
·多區(qū)域分布
·99%的可用性(熱數(shù)據(jù)存儲層提供99.9%)
給出一些忠告
雖然谷歌公司的近線,微軟的CoolBlobStorage,以及亞馬遜AWS冰川產(chǎn)品功能強大,價格實惠,但其終端到終端的整合和管理仍然是一個挑戰(zhàn)。而周圍的備份和存儲管理能力將是至關重要的。
例如AWS冰川,在允許客戶設置策略方面,只允許用戶每天檢索一定量的數(shù)據(jù)。此外,其用戶也可以設置一個策略,用于在免費層中的檢索。相比谷歌的近線,同一類粒度排序似乎缺少。至于微軟的CoolBlobStorage則是偉大的,但其數(shù)據(jù)存儲服務只是剛剛開始。
這里沒有明確的贏家。這將取決于用戶的特定用例。當用戶建立了自己的冷數(shù)據(jù)存儲架構,確保創(chuàng)建一個基于集成的最佳實踐的環(huán)境。這意味著了解你將存儲什么樣的數(shù)據(jù),保留策略,定價,存儲和訪問速度,以及在恢復過程中需要恢復的信息。