云和其他存儲平臺中的重復數據刪除是一種從數據流中刪除重復或重復數據以減少存儲在設備或系統中的物理數據量的過程。
在主存儲中,重復數據刪除有助于通過刪除相同的數據塊并使用元數據將數據的邏輯副本與實際數據相關聯,從而減少所消耗的物理空間量。 在公共云中,存儲平臺的重復數據刪除功能不會暴露給用戶。
如果提供商選擇在云計算中實施重復數據刪除,那么該保護對于云提供商來說是有益的。 這是因為存儲空間是基于所使用的邏輯容量(而不是物理容量)來計費的,任何節省的開支都是由服務提供商提供的,以提供更便宜的服務或降低成本。
但是對于使用云端存儲進行備份的人來說,存在一個問題。將多個備份映像復制到云上將消耗大量的存儲空間,這比使用磁盤系統等磁盤系統作為存儲目標時要大得多。
云端的重復數據刪除有許多解決方案。許多備份軟件平臺將在源上重復數據刪除,并僅保留物理存儲上的重復數據刪除數據。備份軟件擁有并管理元數據由邏輯到物理狀態轉換。
另一種方法是尋找可以提供存儲接口并進行重復數據刪除的存儲網關。在這種情況下,管理員不依賴于備份軟件,數據可以更容易地導入其他平臺。
最明顯的問題是,使用任何備份軟件都將擁有元數據,因此,理想情況下,存儲重復數據刪除網關是更好的選擇。這樣可以確保備份環境中的數據在備份軟件之外是可移植的,而不需要對數據進行補充,從而將數據轉移到另一個平臺。
除了云中的重復數據刪除之外,該過程在虛擬機組中運行良好,在虛擬機中,基本操作系統在多個虛擬機中是相似的或相同的。
在備份世界中,重復數據刪除用于減少在執行相同數據集(例如VM)的重復備份時存儲的物理數據量。當備份之間的實際數據只有一小部分(例如5%到10%)發生變化時,重復數據刪除技術可確保物理空間消耗盡可能最優。備份系統可以看到重復數據刪除率為20:1及更高。