企業為了從其Hadoop分析投資中獲取最大價值，企業需要富有彈性的大數據存儲基礎架構。在傳統Hadoop集群中，用戶必須依賴于自定義的子數據塊CRC校驗和來提供硬件層數據保護，并且在HDFS層使用鏡像技術以保持某種級別的數據冗余。但是，在規模較大的情況下，這會成為一個非常高成本的方案。如果通過EMC Isilon作為存儲層，Isilon的數據保護是在OneFS文件系統級別實施的，因此要使新的保護和性能方案可用，只需執行OneFS軟件升級即可。OneFS使用經過廣泛驗證的Reed-Solomon擦除編碼算法來執行其奇偶校驗保護計算。在文件界別應用保護，使得集群可以快速高效地恢復數據。信息節點、目錄和其他元數據在于其引用的數據塊相同或更高的級別進行保護。由于所有數據、元數據和向前糾錯（FEC）數據跨多個節點條帶化，因此不需要專用的奇偶校驗驅動器。這不僅可以防止出現單點故障和瓶頸，還使文件重建成為一個高度并行化的過程。
OneFS還支持多種混合保護方案。這包括N+2：1和N+3：1，前者可針對兩個驅動器故障或者一個節點故障提供保護，后者可針對三個驅動器故障或一個節點故障提供保護。對于高密度節點配置而言，這些保護方案特別有用。萬一發生多個設備同時故障的情況，以至于文件“超過了其保護級別”，則OneFS將盡可能重新保護所有可保護的內容，并且將與受影響的個別文件相關的錯誤報告到Isilon集群的日志。
Isilon還支持多項保證數據可靠性功能，例如：
日志文件系統：每個Isilon節點都配備了一個由雙電池支持的NVRAM卡，以保護節點的文件系統。主動節點/設備故障：OneFS將主動刪除任何達到特點的已檢測ECC錯誤閥值的驅動器，自動重建該驅動器中的數據并將其定位至該集群中的其他位置。整個過程完全自動化，無需人工干預。Isilon數據完整性：ISI數據完整性（IDI）是一種通過32位CRC校驗和防止文件系統結構損壞的OneFS過程。所有Isilon數據塊（包括文件和元數據）都利用校驗和驗證。協議校驗和：OneFS為遠程數據塊管理（RBM）協議數據提供了校驗和驗證。RBM是Isilon開發的機遇RPC的單播協議，可供在后端集群互連上使用。動態扇區修復：DSR功能可用來隔離損壞的磁盤扇區，重新向完好的數據以便在其他位置重新寫入。Mediascan：MediaScan在OneFS中的作用是檢查磁盤扇區并部署DSR機制，以便強制磁盤驅動器修復他們可能遇到的任何扇區ECC錯誤。總之，在HDFS存儲層使用EMC Isilon存儲，可以避免多種傳統Hadoop存儲實施的許多缺點，如下所示：
京公網安備 11010502049343號