“繼網(wǎng)絡接入存儲、塊存儲、文件存儲之后,對象存儲掀起了新一輪的發(fā)展浪潮。如今,傳統(tǒng)企業(yè)存儲比如NAS或者SAN等顯然無法應對如此海量的非結構化數(shù)據(jù)存儲需求。國外IBM、Red Hat、HDS、EMC等巨頭、國內華為云、青云、杉巖數(shù)據(jù)等企業(yè)紛紛在企業(yè)級對象存儲領域展開了積極布局。”
十多年前IT業(yè)界預計,全球數(shù)據(jù)級別將增長至超過PB級別。放眼當前,云計算正在開啟爆發(fā)式創(chuàng)新的時代,物聯(lián)網(wǎng)的出現(xiàn)讓數(shù)以百萬計的設備每時每刻都在創(chuàng)建、收集和發(fā)送數(shù)據(jù),數(shù)據(jù)量級也從PB躍升到了ZB級別。
根據(jù)IDC預測,到2020年,總體企業(yè)數(shù)據(jù)將達到44ZB,其中80%的數(shù)據(jù)是非結構化數(shù)據(jù)(圖片、視頻、歸檔以及企業(yè)級備份等各種數(shù)據(jù))。面對前所未有的海量數(shù)據(jù)來勢洶洶,企業(yè)必須確定如何才能有效保留、保護、分析自己的非結構化數(shù)據(jù),并最大程度地發(fā)揮這些數(shù)據(jù)的價值。
海量非結構化數(shù)據(jù)來勢洶洶 成功“激活”對象存儲
當下,企業(yè)級存儲分為兩大類:第一類是傳統(tǒng)企業(yè)存儲。其中,NAS(網(wǎng)絡接入存儲)和SAN(存儲區(qū)域網(wǎng)絡)是傳統(tǒng)企業(yè)存儲中非常重要的兩類。
NAS被定義為一種特殊的專用數(shù)據(jù)存儲服務器,包括存儲器件和內嵌系統(tǒng)軟件,可提供跨平臺文件共享功能。SAN被定義為互連存儲設備和服務器的專用光纖通道網(wǎng)絡,它在這些設備之間提供端到端的通訊,并允許多臺服務器獨立訪問同一個存儲設備。
傳統(tǒng)企業(yè)存儲都有一個共同的特征,即只能垂直擴展,它在管理、成本、容量和性能方面滿足不了海量非結構化數(shù)據(jù)的存儲需求。為了滿足非結構化數(shù)據(jù)的存儲需求,整個企業(yè)級存儲市場慢慢從“垂直擴展”向“水平擴展”轉變,形成了新一代企業(yè)級存儲,包括塊存儲、文件存儲和對象存儲。
在水平擴展存儲中,用戶會面對塊存儲、文件存儲和對象存儲等類別,它們各自適用的場景不同。其中分布式塊存儲適用的場景相對來說比較特定,比如Oracle數(shù)據(jù)庫,需要掛高性能硬盤做數(shù)據(jù)庫的存儲。
此外,最適合存儲非結構化數(shù)據(jù),即圖片、視頻等類型數(shù)據(jù)的是分布式文件存儲和對象存儲。IDC研究顯示,到2021年,文件存儲和對象存儲的數(shù)據(jù)容量總和高達400EB左右,其中對象存儲將達到350EB,占據(jù)總數(shù)的75%。
作為一種新型網(wǎng)絡存儲架構,對象存儲(Object-based Storage,簡稱OSD)采用了“對象”數(shù)據(jù)組織,克服了 NAS與 SAN 的不足,使它既有“塊”接口的快速,又有“文件”接口的便于共享,提供具有高性能、高可靠性、跨平臺以及安全的數(shù)據(jù)共享的存儲體系結構。
對象存儲技術將文件數(shù)據(jù)和存儲元數(shù)據(jù)管理進行分離,突破了SAN 的文件共享限制和NAS系統(tǒng)中常見的數(shù)據(jù)路徑瓶頸。對象由數(shù)據(jù)、屬性及操作組成,在安全性、跨平臺數(shù)據(jù)共享、高性能、可擴展等方面更勝一籌。
總的來看,對象存儲主要有四個優(yōu)勢:
1、容量無限擴展。OBS所有業(yè)務、存儲節(jié)點采用分布式集群的方式進行工作,各功能節(jié)點、集群都可以獨立擴容,整個擴容過程對用戶完全透明。用戶只需盡情地享用云存儲帶來的無限空間,不必預測未來的存儲需求并可以按需要向上和向下擴展,從而大幅度提高業(yè)務的靈活性。
2、數(shù)據(jù)可靠性更高。通過提供對象數(shù)據(jù)多份冗余和保證多份對象數(shù)據(jù)一致性自動修復技術來提供對象數(shù)據(jù)的高可靠性。OBS系統(tǒng)設計的數(shù)據(jù)持久性高達99.9999%,假如對象存儲中有1000億個用戶文件,每月最多只有1個文件可能發(fā)生數(shù)據(jù)丟失。
3、用戶數(shù)據(jù)更安全。用戶數(shù)據(jù)傳輸?shù)絆BS時支持SSL加密,同時,OBS通過AK/SK對訪問用戶的身份進行鑒權,確保數(shù)據(jù)傳輸與訪問的安全。此外,用戶上傳的數(shù)據(jù)在對象存儲服務中分片存儲在不同的硬盤上,即便磁盤數(shù)據(jù)被盜走,也無法將其還原成對象數(shù)據(jù)。
4、維護成本更低。由于數(shù)據(jù)存儲在OBS中,企業(yè)無需招聘專門的存儲設備維護人員,設備的維護交由OBS處理即可。
對象存儲成標配 云計算廠商如何玩轉對象存儲?
在對象存儲市場,云計算廠商、存儲廠商、IT廠商、軟件廠商均有所布局,比如IBM、HDS、EMC、Nutanix、VMware都推出了各自的產(chǎn)品,公有云提供商是絕對的主力玩家。
對象存儲的發(fā)展和商業(yè)化一直與云計算行業(yè)緊密相連,云計算市場發(fā)展至今已趨于成熟,而應用比較廣的對象存儲服務,現(xiàn)成為云服務公司的一項基礎業(yè)務,市面上能夠提供這項服務的廠商數(shù)不勝數(shù)。
作為歷史上最早期的云存儲服務,SimpleStorage Service(簡稱S3)的目的和功用就是為AWS未來的云服務用戶提供最基礎、最簡便的云存儲服務,無論是圖片、視頻還是文本,S3都能夠提供存儲服務,簡單、集中、性價比高。
微軟Azure推出了高度可縮放的非結構化數(shù)據(jù)對象存儲——Blob存儲,憑借百億億字節(jié)容量和巨大的伸縮性,其可根據(jù)數(shù)據(jù)訪問頻率,將數(shù)百至數(shù)十億的對象存儲在“熱”、“冷”或“存檔”層中,企業(yè)可以輕松高效地存儲任何類型的非結構化數(shù)據(jù)。
國內云廠商也積極布局對象存儲,比如阿里云對象存儲(ObjectStorage Service,簡稱OSS)已實現(xiàn)商業(yè)化服務5年以上,其是基于阿里云飛天分布式系統(tǒng)的海量、安全和高可靠的云存儲服務。UCloud則提供了對象存儲UFile服務,UFile具有存儲無上限、支持高并發(fā)訪問、成本更低等優(yōu)勢;
解決業(yè)務架構的文件存儲問題,有效降低海量文件的存儲成本,支持熱點數(shù)據(jù)的高并發(fā)訪問,提升終端用戶訪問體驗。企業(yè)級云服務商青云QingCloud也提供了基于公有云的QingStor對象存儲服務,還有QingStor對象存儲私有云一體化解決方案。
對象存儲在公有云的成功,已經(jīng)對企業(yè)存儲生態(tài)和部署模式產(chǎn)生了影響。比如現(xiàn)在OpenStack Swift和Ceph這些開源對象存儲的流行,Amazon S3成為事實上的對象存儲訪問標準,都是公有云對象存儲普遍部署的影響。
作為被正被眾多廠商廣泛采納的存儲方式,對象存儲如何才能幫助云計算廠商攻城略地?從協(xié)議層看,對象存儲需要兼容AWS S3 API,支持多種協(xié)議,包括NFS、FTP、HDFS等。只有這樣才能滿足客戶的應用需求,畢竟對企業(yè)級應用來說,接口和協(xié)議的豐富度是必不可少的。
在交付模式上,對象存儲可以通過公有云、私有云、混合云等模式進行交付,并實現(xiàn)統(tǒng)一管理。雖然對象存儲最初是由公有云廠商推出的,但對某些行業(yè)而言,他們更傾向于在自己的數(shù)據(jù)中心里構建一個數(shù)據(jù)池,進行統(tǒng)一管理,以及后續(xù)的分析和利用。
所以,交付方式的多樣化是必不可少的,而且對于對象存儲廠商來講,需要具備多種交付模式上的統(tǒng)一管理能力。現(xiàn)在企業(yè)級存儲市場呈現(xiàn)融合趨勢,比如開源存儲軟件Ceph,將塊存儲、文件存儲以及對象存儲以同一套架構輸出。
此外,對象存儲和大數(shù)據(jù)平臺的集成或者接駁非常重要。在公有云形態(tài)上,大數(shù)據(jù)和對象存儲的關系非常緊密,大數(shù)據(jù)是對象存儲所存儲數(shù)據(jù)的主要來源。但在私有云上還是缺失的狀態(tài),對象存儲應該在私有云上加深與大數(shù)據(jù)的集成關系。
再次,對象存儲與數(shù)據(jù)相關的SaaS服務。比如用戶希望分析對象存儲本身的使用情況,指導整個IT設施的規(guī)劃和構建,這就屬于與數(shù)據(jù)相關的SaaS服務。最后,企業(yè)級存儲軟件生態(tài)與合作,企業(yè)級存儲生態(tài)里不只是塊存儲、文件存儲、對象存儲,還有很多其它的,比如DR、災備、傳統(tǒng)的備份軟件等。
在企業(yè)級市場里,對象存儲已經(jīng)過了市場教育階段,其將占據(jù)企業(yè)級存儲容量75%左右的份額。可以預見,對象存儲技術將成為未來存儲技術的重要組成部分,隨著云計算市場的快速發(fā)展,對象存儲將促進企業(yè)存儲的加速轉型。不過,雖然對象存儲迎來了快速發(fā)展的“東風”,但如何順應發(fā)展大勢和滿足客戶需求,則依然是對象存儲提供商贏得市場的關鍵。