對象存儲架構通過提供一種非常適合存儲和保護大量非結構化數據的文件結構來解決傳統的存儲限制。
隨著數據增長速度的加快,企業組織比以往任何時候都需要具備更多的數據存儲能力,而且這樣的數據存儲能力需求還更快,更頻繁。
而與此同時,這種趨勢也造成了兩大挑戰難題:以非破壞性的方式增加存儲容量是相當困難的,而傳統的存儲系統存儲容量增加達到一定程度之后往往難以超越。對象存儲體系架構則可以解決這些挑戰。
增加存儲通常需要在擴展期間取消關閉主存儲,故而會導致中斷。當容量增加時,還往往會對其他基礎資源(如CPU和網絡)造成壓力,因為存儲需要依賴這些資源以保持可接受的性能。
傳統存儲還存在或將影響到可用性的其他方面的限制。也許最重要的是需要備份數據。如果您企業數據中心的存儲空間不足,您需要一種方式來對其進行恢復。
隨著數據集變得越來越大,提供事后數據保護可能難以解決,而且難度也很大。隨著數據集的增長,在備份窗口中可以合理容納更多的數據。處理數據保護需要一種更為實時的方法。而這就是對象存儲技術發揮其用武之地的時候了。
關于對象存儲架構
一款對象存儲架構解決了非結構化數據增長的問題,并能夠幫助企業降低其存儲系統的復雜性。
您企業可能習慣于通過存儲協議(如NFS、光纖通道、iSCSI或SMB)來訪問的文件或塊。然而,在對象存儲領域,底層數據的結構意味著您企業將不再需要使用這些協議。雖然在某些情況下,您仍然可以,但在對象存儲中,您不再需要創建復雜的目錄層次結構來對對象進行分類。相反,對象存儲允許您直接訪問對象。
對象可以像一個單個文件、圖像或視頻一樣簡單,也可以由多個元素組成,但它們仍然可以作為單個對象進行訪問。每個對象還具有關聯的元數據和唯一的對象標識符,允許在稍后對其進行檢索。這個可定制的元數據描述了每個關聯對象的各種屬性。
元數據元素總是包含共同的對象特征,但也可以擴展到包括應用程序特定的特性。讓我們用一個照片庫為例吧。在基于文件的領域中,您將擁有一個文件名、創建日期、修改日期、文件大小和文件所有者,以及某些操作系統特定的標識符。
現在,讓我們不妨以Shutterstock公司為例。其對象存儲系統可以擴展到包括額外的元數據元素,例如圖像類型(圖示或照片)、圖像寬度(以像素為單位)、圖像高度(以像素為單位)、圖像中存在的基色等等。通過將所有這些信息附加到對象上,企業客戶可以快速輕松地為其用戶檢索照片,而無需使用巨大的SQL數據庫來跟蹤所有這些信息。
作為另一示例,在醫療領域中,元數據可以包括患者的姓名、診療過程數據和醫師姓名,并且附接到諸如X射線圖像的對象。除了簡單地描述一個對象之外,元數據也可以用于安全性和可用性的目的,通過描述誰被允許訪問對象,對象應該有多少冗余等等。對象存儲vs. 文件 vs.塊
乍看之下,對象存儲架構可能看起來類似于塊存儲,其在最基本的層面也不具有層次結構。然而,檢索數據塊需要文件系統中的較高級別的應用程序來在塊存儲上施加層次結構。塊和對象之間的另一個區別是基于塊的存儲不帶元數據。
對于基于文件的存儲,文件系統提供了層次結構,甚至有限的元數據,因此其比原始塊存儲更適合于以內容為主的企業組織。但是,在現實的情況下,個別的文件被分解成小塊碎片,然后散布在隨機位置的存儲中。文件系統知道在哪里可以獲取所有的小塊碎片,當用戶請求文件時,文件系統便跳轉以檢索所有內容。
對象存儲系統將文件存儲為單個實體,在應用程序中使用對象ID對存儲進行調用之后進行檢索。每個對象都有一個唯一的對象ID,所以沒有必要保持較高級別的結構來保持其組織架構。搜索所有元數據的功能使得檢索項目更容易。
對象存儲領域中的可用性和數據保護
保持存儲數據的可用性和數據保護是IT最重要的職責之一。
為此,企業的存儲專業人員們部署了RAID陣列和備份系統。 RAID有助于防止硬件故障,而當RAID不足時,或者當出現RAID無法防范的災難時,備份和恢復系統介入。
一款對象存儲架構通常包括一種或兩種不同的數據保護方法,以防止硬件故障和災難。雖然這對于每家具體的企業組織而言并不一定是必須的,但對象存儲可能會消除對第三方備份和恢復軟件的需求。這個舉措可以通過幾種不同的方式來實現。
擦除編碼。這比傳統的RAID實現要復雜一些,但目的是為了隱藏復雜性,并向管理員呈現一個更簡單的環境。
擦除編碼通過向數據塊添加多個奇偶校驗段,然后將這些奇偶校驗段分配到各個不同的位置。例如,假設存儲系統使用一個10+6的擦除編碼方法。奇偶校驗塊分布在16款驅動器上,但您只需要10塊磁盤才能繼續檢索數據。這意味著任何六款驅動器都可能會失敗。只要10塊磁盤仍然在運行,系統仍然運行。
如果某款驅動器出現故障,則在更換故障驅動器時,丟失的數據塊將從保留在生產中的10款驅動器中重建。這導致比RAID更快的恢復速度,特別是對于大型驅動器而言。
借助快速重建,當涉及到容量開銷費用時,擦除編碼是有效的。其可以用于傳統的文件和塊存儲,但是這些部署是罕見的,因為擦除編碼是一個復雜的、計算密集的過程。
復制。有時除了擦除編碼之外,在其他存儲集群位置或甚至在其他地理位置進行數據的冗余副本時會涉及復制。但復制增加了容量開銷。
通過使用兩個復制因素,您企業可以將數據保存兩次,使您的容量足跡翻倍。而三倍的復制因素將使您的容量足跡增加三倍,依此類推。通常,數據的本地可用性和保護可以通過擦除編碼來處理,而災難恢復則利用復制。
協議和文件訪問。可通過HTTP和REST API調用本機訪問對象存儲系統。這使得即使通過企業防火墻也可以訪問存儲。但是,這不會使對象存儲對于更多主流使用案例(如企業文件共享)有用。
用戶已經習慣于通過NFS和SMB訪問他們的文件。許多對象存儲系統使用NFS或SMB服務作為其對象存儲的前端,以便用戶和應用程序可以使用這些行業標準協議訪問文件。這只是一個兼容機制。在幕后,正在運行的則是對象存儲系統。
誰在使用對象存儲技術?
對象存儲的最大消費者是媒體和娛樂公司、石油和天然氣公司以及醫療機構。這些企業對數據存儲的迫切需求正在快速增長,并且可以有效地容納數十億個成為對象的數據元素。
技術公司,特別是云服務提供商,以及其他軟件和服務提供商也在使用對象存儲。
對象存儲架構的優缺點
對象存儲架構提供了許多好處。
簡單。對象存儲幾乎總是管理大量非結構化數據的適合的工具。由于強大的元數據功能和平面結構而言,對象存儲不需要任何抽象層,如文件系統。
成本優勢。由于擴展傳統的存儲和對數據增長的預測可能很困難,許多企業過度占用存儲空間,因此不需要頻繁地進行管理,并防止發生中斷。
由于可擴展性高,因此對象存儲可以幫助企業組織實現其存儲成本。換句話說,他們可以根據需要輕松添加更多的存儲空間,而不是批量購買。這種可擴展性也意味著傳統存儲更新的理念消失了。無需每隔一年計劃花費一個周末的時間遷移到新的存儲空間,您企業只需添加一個新的節點,并將舊的節點停止服務即可。
組織管理。管理的簡化是一回事,但數據訪問和檢索的簡單性卻是另一回事。由于對象存儲中所具有的固有的基本簡單性,用戶可以輕松找到內容。
但對象存儲也有一些限制,也可能不適合所有企業。例如,如果您企業的數據正在快速更改,諸如具有高事務計數的重要數據庫工作負載,對象存儲可能并不適合您企業。
此外,一些對象存儲供應商不支持或不推薦在其產品上運行虛擬機,因為底層數據的變化太快,應用程序性能可能會受到影響。
最后,雖然一些對象存儲系統聲稱它們不需要使用傳統工具進行備份,但許多企業風險管理者對此并不認可。而一些傳統的備份工具不支持保護對象存儲。對象存儲采用者們將需要找到替代方法來匹配其對象存儲系統與其企業的數據保護策略。
購買對象存儲軟件
您企業可以通過幾種不同的方式購買對象存儲。在這個軟件定義數據中心的這個時代,如果您愿意添加更多的硬件,許多資源都可以作為軟件來獲得。
然而,許多企業可能更喜歡購買部署就緒的產品,并選擇已經打包在設備上的軟件。一般來說,這些設備是x86服務器,可以使用特定的軟件進行調試。
對象存儲的另一個選擇是允許您企業的供應商在托管設備中為您進行管理。同時,也請不要忘記了云服務:對象存儲在云存儲提供商中是普遍存在的。對象存儲公司通常支持在公共云中部署,以實現混合云計劃,從而提供對于來自企業內部部署環境的數據的無縫轉換。
對象存儲平臺市場
如下,我們將研究領先的對象存儲供應商的產品。我們將聚焦于Caringo公司、DataDirect網絡公司、戴爾EMC、日立數據系統公司、IBM、NetApp和Scality公司的產品。這些供應商及其產品是我們在對頂級市場進行了廣泛研究后進行的選擇,包括哪些產品最適合我們所提出的購買標準。以下,是對于每家供應商的簡要概述。
Caringo公司作為獨立的對象存儲公司之一是值得注意的。該公司提供了Swarm對象存儲平臺以及FileFly產品,可以幫助企業客戶將現有的Microsoft Windows和NetApp文件共享遷移到Caringo Swarm群集。
另一家獨立公司日立提供了日立內容平臺(HCP),其成為了企業對象存儲的基礎,這是一款全功能的對象存儲。 HCP可以通過HCP Anywhere進行擴展,從而為企業客戶提供本地同步和共享(類似Dropbox)功能。
并不是上文列出的所有企業都只關注對象存儲。例如,DataDirect Networks公司就銷售各種基于文件和塊的存儲產品以及WOS專用對象存儲產品。而與Caringo公司一樣,DDN是一家獨立的,以存儲為中心的公司,該公司開發了他們自己的存儲產品線。
另一個從頭開始打造其產品的是Scality公司的RING對象存儲軟件,該產品可以在商品x86硬件上運行,使其成為想要自己的硬件獲得準確規格的企業客戶的選擇,同時也能夠幫助降低成本。
戴爾EMC是最近經歷了重大變革的企業的典范。戴爾通過收購EMC,現在提供多款對象存儲產品,包括Isilon和彈性云存儲。
如上所述,并不是所有的供應商都開發了自己的產品。其中一家這樣的公司便是IBM。在2015年,IBM收購了Cleversafe,最近將該產品重新命名為IBM Cloud Object Storage。
同樣,通過2010年收購Bycast,NetApp現在銷售其StorageGRID Webscale產品,可以擴展企業客戶內部部署,并實現了跨地理位置的部署。