介紹
利用EMC Isilon橫向擴展 NAS可以將大數據集聚合到一個強大但易于管理的存儲平臺上,該平臺具有強大的可擴展性、很高的性能、無與倫比的效率以及運營的靈活性,可支持廣泛的應程序。本文將為您列舉選擇Isilon橫向擴展NAS進行大數據分析的6大優勢。
更多信息
Hadoop主要由二個重要組件構成:文件系統(HDFS)和計算系統(MapReduce)。在Hadoop生態系統中還包括眾多開源工具,如:RHIPE、Pig、Mahout、Hive、HBase等等。Hadoop生態系統可以參考下圖:
那么在EMC的Isilon橫向擴展NAS上部署Hadoop具備哪些優勢呢?總結下來主要是以下六個方面:
1、橫向擴展存儲平臺
Hadoop構建在橫向擴展架構上,可以利于集群上所有節點引擎的處理能力,高效和快速的運行智能分析軟件。Isilon橫向擴展NAS既能適應不斷變化的基礎架構和數據容量需求,也能輕松處理不斷增長的應用流量,而且不失簡單性和易用性。
2、無單點故障
在使用傳統的直連存儲進行Hadoop計算時,所有文件系統命令空間都由一個NameNode進行管理。但是,在Isilon存儲中,每個Isilon節點都可以響應NameNode請求。每當Hadoop計算客戶端向Isilon集群發送文件請求時,該請求都會被發送到不同的Isilon節點。 在Hadoop環境中,集群的每個節點都充當NameNode和SpaceNode,這樣可以對多個映射程序的文件請求實現負載均衡。通過這種方式,Isilon可以消除傳統Hadoop集群存在的單點故障,實現負載均衡。
3、端到端數據保護
通過SnapshotIQ、SyncIQ和NDMP功能,Isilon可以提供高性能異地數據復制、本地備份和快照功能,已滿足不同端到端數據保護需求。客戶可以在系統成本和容災要求之間找到很好的平衡。
4、存儲效率業界領先
Isilon OneFS操作系統使用業界領先的Erasure Code(糾刪碼)保護數據,存儲管理員可以在單個目錄下管理整個存儲池,配置簡單高效。另外,Isilon作為第一個為Hadoop HDFS整合大數據分析提供的存儲解決方案,同時支持HDFS的1.0和2.0協議,允許相同的數據以多種方式輸出,裸存儲利用率達到80%以上,提供了業界領先的利用率水平。
5、獨立的可擴展性
Isilon OneFS操作系統是全分布式,具有很好的擴展性,最大可以擴展到144個存儲節點,單一卷容量可達20PB。相對傳統存儲都是集中式的,擴展性不好。
6、多協議
Isilon橫向擴展NAS支持眾多行業標準協議,如:NFS、SMB、FTP、HTTP和Hadoop HDFS,可以簡化業務分析計劃、簡化和整合工作流、提高靈活性以及為企業應用程序提供更大的靈活性。
應用于
選擇Isilon部署Hadoop的六大優勢。
轉載請在文首保留原文出處:EMC中文支持論壇https://community.emc.com/go/chinese