就當前而言,移動PB級的數據對企業來說仍然是一件難事,可以按照以下步驟來操作,盡量減少風險和成本,并最大程度地提高靈活性。
接受云部署的企業需要具有成本效益和實用性的將企業數據遷移到云端的方法。鑒于將大規模企業數據集無間斷地和準確地移動到任何地方,這將面臨很大的挑戰,其任務可能是一個漫長,復雜,危險的過程。
并不是每個組織都有足夠的專用帶寬來傳輸數PB的數據,而不會導致核心業務的性能下降,也并不具有足夠的備用硬件遷移到云端。在某些情況下,處于物理隔離位置的組織或不具有成本效益的高速互聯網連接的組織面臨著進入目標云的障礙。數據必須被保護和備份,并且需要在生產環境中進行遷移而不遺漏任何一個環節。
2016年秋季,AWS公司通過Snowball(一種使用AWS提供的一臺或多臺設備的PB級數據傳輸服務)和Snowmobile(一款使用18輪卡車進行數據傳輸的EB規模的運輸服務)進行了品牌推廣。這些車輛可以輕松地為駐留在AWS云端實施數據購買和部署遷移服務。使用專用的100Mbps連接遷移100TB的數據需要120天。使用多個Snowball進行同樣的遷移將只需要大約一個星期的時間。
然而,對于尚未使用AWS云計算服務的55%的公共云市場,或者那些具有私有云,混合云或多云部署需要更多靈活性的企業來說,其他云遷移選項可能比AWS的產品更具吸引力。遷移生產數據時尤其如此,其中將靜態數據上傳到設備上,在遷移過程中將部分副本復制給IT團隊。他們需要一種重新同步數據的方法。
以下是云數據遷移最佳實踐的指南,這取決于企業數據是否是靜態的,因此資源是離線的或正在產生的。以下還將提供有助于與新數據中心資源集成,以及適應混合或多云體系結構的有用提示。
靜態數據
除非數據量低于1TB,否則將需要利用物理介質(如設備)來加速文件,塊或對象存儲的遷移過程。這樣數據在不需要連續在線的環境中,或者傳輸需要使用緩慢,不可靠或昂貴的互聯網連接中可以很好地運行。
(1)將靜態數據復制到本地遷移設備。使用一個小型便攜式,易于運輸的NAS設備,在RAID期間配置RAID,以保證站點之間的持久性。設備應包括加密 - 128位AES,或優選256位AES,以防止在NAS離開客戶端設施后未經授權的訪問。
使用非常快的10G網絡連接,團隊可以將每秒100MB到200MB的數據上傳到NAS設備上。設備應支持目標環境(Windows,Linux等)和文件訪問機制(NFS,CIFS,光纖通道等)。一個設備通常足以傳輸高達30TB的數據。對于較大的數據量,團隊可以使用多個設備或重復該過程多次以邏輯塊或段移動數據。
(2)將設備運送到云端環境。運送目的地可能是目標云或云數據中心本身附近的協同設施。無論目標是公共云還是混合云/多云設置,還有兩個考慮因素將平滑遷移和容易遷移區分開來。
(3)將數據復制到云中的存儲目標。存儲目標應通過高速光纖使用VPN訪問連接到AWS,Azure,Google或其他目標云基礎架構。
例如,在訴訟期間,律師事務所常常需要從客戶端發送所有電子郵件以進行電子發現。通常,電子郵件捕獲從幾個月或幾年前跨越一個靜態的,定義的日期范圍。律師事務所將其云計算供應商向當事人的數據中心安裝設備,指示他們根據需要復制所有電子郵件,然后將設備運送到云計算供應商進行處理。
雖然一些供應商需要購買該設備,但其他供應商允許在遷移過程中一次性使用該設備,之后退還設備,IT團隊將以每TB計費。不需要資本支出或長期承諾。
生產數據
一旦數據移動到云端,此過程需要一些移動數據并重新同步的方法。其鏡像代表了遷移生產數據的答案。
使用鏡像的云遷移需要兩個本地的內部部署設備,它們能夠跟蹤生產環境的增量變化,同時將數據移動到新的云端目標。
(1)生產數據被鏡像到第一個設備,創建數據集的在線副本。然后從第一個鏡像創建第二個鏡像,創建第二個在線副本。
(2)如果第二個鏡像是“損壞”的,需要將設備運送到云端環境。
(3)然后在本地復制和遠程副本之間重新連接鏡像,并重新建立數據同步。
(4)數據的在線副本現在在云中,服務器可以故障轉移到云端。
例如,美國的一個機構有2PB的內部部署數據,它希望部署在私有云中。該機構的IT團隊在一個數據中心內建立了彼此相鄰的兩個本地存儲資源,將數據移動到一個鏡像上,然后設置了第二個鏡像,以便復制所有內容。然后,團隊將整個機架運送到數千英里外的第二個數據中心,其云計算供應商(Zadara Storage)重新建立了鏡像。
當重新連接時,數據被同步以表示完整的最新鏡像副本。一旦該過程完成,在數據遷移過程中使用的硬件被發送到遠程位置,作為第二個災難恢復副本。
在另一個例子中,全球管理咨詢公司使用10G鏈接將規模較小的數據從數據中心移動到目標存儲云,以及遷移設備來移動PB數據。一旦10G鏈接數據上傳被復制到存儲資源,云遷移提供商使用AWS平臺直接連接到AWS。這樣就可以將資源從公共云中分離出來,而且隨時可用。其他靜態數據被復制到NAS設備上并運送到可用于AWS云的位置。
易于集成的特性
無論目標是公共云還是混合云或多云設置,三個其他因素區分了更加困難和持久的遷移。
•保存格式。當數據遷移過程保留所需的數據格式時,理想的情況是,IT團隊可以將數據復制到云計算中并立即使用它,而不是將復制的數據轉換為本地使用的本機格式,但在云中本身是不可訪問的。IT經理需要立即獲取數據,而無需創建卷來訪問的額外步驟。對于遷移數TB的數據,延遲幾個小時可能不是很大的事情,但是在數據達到PB級的情況下,其延遲可能會變得難以忍受。
•支持企業格式。傳統的存儲設備格式(如CIFS和NFS)或者由公共云提供商支持,或者根本不支持。然而,在移動到云端時,這些文件系統的應用通常會在管理時間和費用方面節省最多的費用。有能力復制CIFS,NFS或其他傳統文件類型并保留在云中使用的相同格式可以節省時間,防止出現潛在錯誤和轉換麻煩,并有助于確保遷移時間。
•有效出口。沒有供應商希望看到客戶退出云端,但是當需求發生變化時,雙向數據遷移或導出云數據可以在其他地方使用,需要通過與上述相同的靜態和生產方法有效地進行。
混合云或多云支持
任何云遷移的最終考慮都是確保播種才能持續下去。85%的企業采用多云戰略,20%的企業計劃使用多個公共云,IT團隊正在修改混合云或多云功能的架構。沒有任何一家企業希望被鎖定到任何一家云提供商,無法逃避不可避免的中斷或中斷的影響。
允許云平臺間進行異步復制的云計算方法使IT團隊能夠優化云基礎架構以實現性能和成本。組織可以將特定工作負載遷移到一個云平臺或另一個云平臺(例如,Azure上的Windows應用程序,AWS上的開放源代碼),或將其移動到可以利用給定要求的最佳談判價格和條款的位置。在一個提供商發生中斷的情況下,可以并發訪問其他云計算的云遷移方法還可以實現云端之間的即時傳輸和幾乎即時的故障切換。
專家稱2017年為數據“大遷移”的一年。思科和451 Research公司進行的預測顯示,到2020年,所有數據中心流量中有83%和企業工作量的60%將以云計算為基礎。 新的數據遷移選項使IT團隊能夠以最小化風險,成本和麻煩的方式“分解”云端,并最大程度地提高敏捷性。