作為近幾年興起的云計算的一大重要組成部分,云存儲承擔著最底層以服務形式收集、存儲和處理數據的任務。
企業用戶和個人將數據托管給第三方,通過公有云、私有云或混合云形式對數據進行按需存取操作。云存儲的優勢主要在于:按需使用,按需付費;無需增加額外的硬件設施或配備專人負責維護,減少管理難度;將數據復制、備份、服務器擴容等工作交由第三方執行;快速部署配置,隨時擴展增減,更加靈活可控。
在商業前景方面,以“用戶創造內容”和“分享”為精神的Web2.0推動了全網域用戶對在線服務的認知。隨著相關背景技術的完善,云存儲在技術上已經趨于成熟。
云存儲的關鍵技術
隨著如語音、數據、圖像等業務需求的多樣化,網絡建設不斷向寬帶化方向發展。網速越來越快,能承載的業務種類越來越多,傳輸質量越來越高。
只有寬帶網絡得到充足的發展,使用者才有可能獲得足夠大的數據傳輸帶寬,實現大量容量數據的傳輸,真正享受到優于本地存儲的云存儲服務。
云存儲的關鍵技術包括CDN、Web2.0、數據編碼技術、虛擬化存儲技術等這些技術的發展都成為云計算和云存儲發展的內在需求和關鍵動力。
CDN即內容分發網絡。其基本思路是盡可能避開互聯網上有可能影響數據傳輸速度和穩定性的瓶頸和環節,使內容傳輸的更快、更穩定。
WEB2.0的用戶既是網站內容的瀏覽者,也是網站內容的制造者。用戶使用互聯網的同時提供了云計算的接入模式,也為云計算培養了用戶習慣。用戶更加習慣將自己的數據在網絡上存儲共享。
云存儲不僅僅是存儲,更多的是應用。應用存儲技術的發展可以大量減少云存儲中服務器的數量,從而降低系統建設成本。它還能減少系統中由服務器造成單點故障和性能瓶頸,在減少數據傳輸環節、提高系統性能和效率和保證整個系統的高效穩定運行方面起著重要作用。
云存儲系統是一個多存儲設備、多應用、多服務協同工作的集合體,任何一個單點的存儲系統都不是云存儲。多個存儲設備之間的協同工作,對外提供同一種服務,并提供更大、更強、更好的數據訪問性能。如果沒有分布式技術,云存儲只能是一個個獨立系統,更談不上云了。
對于云存儲的運營單位來講,必須要通過切實可行和有效的手段來解決集中管理難、狀態監控難、故障維護難、人力成本高等問題。因此,云存儲必須要具有一個高效的類似與網絡管理軟件一樣的集中管理平臺,可實現云存儲系統中設有存儲設備、服務器和網絡設備的集中管理和狀態監控,該平臺就建立在存儲虛擬化技術之上。
云存儲的典型架構
Google GFS文件系統,一個面向大規模數據密集型應用的、可伸縮的分布式文件系統,運行在廉價的普遍硬件設備上,提供災難冗余的能力,為大量客戶機提供了高性能的服務,是基于分布式技術實現云存儲的典型架構。
一個GFS集群包含一個單獨的Master節點、多臺Chunk服務器,并且同時被多個客戶端訪問。所有的這些機器通常都是普通的Linux機器,運行著用戶級別的服務進程。
GFS存儲的文件都被分割成固定大小的Chunk。在Chunk創建的時候,Master服務器會給每個Chunk分配一個不變的、全球唯一的64位的Chunk標識。Chunk服務器把Chunk以linux文件的形式保存在本地硬盤上,并且根據指定的Chunk標識和字節范圍來讀寫塊數據。出于可靠性的考慮,每個塊都會復制到多個塊服務器上。
Master節點管理所有的文件系統元數據,同時還管理著系統范圍內的活動。Master節點使用心跳信息周期地和每個Chunk服務器通訊,發送指令到各個Chunk服務器并接收Chunk服務器的狀態信息。
GFS客戶端代碼以庫的形式被鏈接到客戶程序里。客戶端代碼實現了GFS文件系統的API接口函數、應用程序與Master節點和Chunk服務器通訊,以及對數據進行讀寫操作。客戶端和Master節點的通信只獲取元數據,所有的數據操作都是由客戶端直接和Chunk服務器進行交互的。
杰賽云存儲
以上典型的云存儲架構同樣有幾個典型的問題:對于互聯網應用,GFS缺乏一套同樣可擴展的服務提供方式,例如亞馬遜的S3服務;由于Master節點管理所有文件系統的元數據,隨著文件數量的急劇增加,單點的訪問壓力和高可用壓力越發明顯;對象存儲、文件存儲、塊存儲的需求需要適配相應的協議進行開發;多數據中心的容災備份,甚至多活同步未能實現。
杰賽科技研發的云存儲基于以上典型架構同時解決了典型的問題。在性能、可靠性、可擴展性、靈活性上均有優異的表現。由多臺X86服務器組成的存儲節點通過分布式算法組成的一套分布式統一存儲系統,可以通過底層訪問接口直接訪問到分布式統一存儲系統(支持C、JAVA、C++、python等主流開發語言),同時Client也可以通過上層的對象存儲服務、文件存儲服務、塊存儲服務進行相應的存儲服務訪問。
杰賽云存儲共分對象存儲服務、文件存儲服務、塊存儲服務,具體功能如下。
對象存儲服務:全面兼容S3接口,包含對象、容器及用戶相關的具體功能。
文件存儲服務:文件存儲服務實現基于文件的新建、刪除、修改、獲取文件權限、設置文件權限等功能,能夠兼容主流的Windows/Linux系統,具有極大的跨平臺兼容性。
塊存儲服務:塊存儲服務提供的塊存儲掛載進客戶端主機后的使用方式與現有普通硬盤的使用方式完全一致。同時提供彈性擴展、導入/導出、快照創建與回滾。
管理平臺:提供業務控制、系統運維監控和業務使用門戶操作等。業務控制包括對存儲服務的開通和關閉、計量信息查詢、用戶狀態變更等;系統運維監控包括設備狀態查詢、系統擴容操作、系統性能狀態監控等;支持存儲服務操作的REST API。
同時還實現了異地災備:例如上海、濟南、西安、廣州4個資源節點統一連接到北京管理節點,通過北京中心管理節點實現對各地資源節點的集中管控。