不斷發(fā)展的HADOOP技術
Apache Hadoop助力企業(yè)應對他們最艱難的挑戰(zhàn)之一—利用海量數(shù)據(jù)創(chuàng)造價值。用戶普遍部署Hadoop框架,是因為它能夠幫助企業(yè)從各種不同類型的大數(shù)據(jù)中獲得價值。獨立分析機構Forrester Research公司發(fā)布的《Forrester浪潮:大數(shù)據(jù)Hadoop解決方案》報告顯示,Hadoop的開源架構逐漸深入適應企業(yè)環(huán)境,其瘋狂的發(fā)展勢頭已無法阻擋。其全新獨特的數(shù)據(jù)管理方案正在幫助企業(yè)變革大數(shù)據(jù)存儲、處理、分析及共享的方式。
不斷發(fā)展的HADOOP技術
依托其技術優(yōu)勢,Hadoop已榮膺多項大獎,但與此同時,與其真正所能提供技術能力相悖的錯誤消息及過度承諾也困擾著這項技術。在部署Hadoop技術時提出不切實際的預期需求或誤入技術認知誤區(qū),將導致浪費時間,費用上漲,業(yè)績乏善可陳。
了解Hadoop技術能力與限制,并相應制定安裝計劃,將在未來充分發(fā)揮Hadoop技術能力。了解Hadoop技術的真相,并避開以下常見誤區(qū),將幫助您順利部署Hadoop。
誤區(qū)一:Hadoop可替代數(shù)據(jù)倉庫
真相:Hadoop框架自身不是完整的數(shù)據(jù)或分析解決方案,也不是用作或替代數(shù)據(jù)倉庫的框架或平臺。就其自身而言,依托Hadoop技術開發(fā)高成本效益的大數(shù)據(jù)平臺解決方案,與其它數(shù)據(jù)庫共享信息,使其成為數(shù)據(jù)倉庫的完美組合。依托Hadoop技術,企業(yè)將能夠通過新的途徑充分利用各種類型的海量數(shù)據(jù)。
誤區(qū)二:Hadoop技術曇花一現(xiàn)
真相:Hadoop倍受青睞,其發(fā)展勢頭看上去勢不可擋,因此,它不會曇花一現(xiàn)?!禙orrester浪潮:大數(shù)據(jù)Hadoop解決方案》(2014年一季度版)報告稱,Hadoop框架是大型企業(yè)必備的數(shù)據(jù)平臺,是未來任何靈活數(shù)據(jù)管理平臺中最重要的組成部分。為充分利用Hadoop的技術優(yōu)勢,下一代數(shù)據(jù)倉庫將與Hadoop技術更深入地整合,管理規(guī)模更大,結構更復雜的數(shù)據(jù)集。
誤區(qū)三:Hadoop技術是免費的
真相:Hadoop的確是一套開源產(chǎn)品,所有用戶均可免費下載。但使用該技術卻并非免費,甚至需要更高的成本。高效運用Hadoop技術需要接受嚴格培訓的專業(yè)人士,而長期存儲數(shù)據(jù)亦需要高昂成本??紤]分析及多用戶因素,Hadoop技術的成本實際上要高于數(shù)據(jù)倉庫。除開源技術外,廠商還銷售支持各種功能的專用應用程序,支持并拓展Hadoop使用范圍,為企業(yè)提供更多幫助。
誤區(qū)四:Hadoop解決方案是一款數(shù)據(jù)整合工具
真相:Hadoop實際上是專為特定數(shù)據(jù)類型及負載設計的分布式文件系統(tǒng)。但該技術缺乏數(shù)據(jù)整合能力。如果Hadoop解決方案未能與大型數(shù)據(jù)管理生態(tài)系統(tǒng)結合使用,它將會成為另一個使信息相互隔離的數(shù)據(jù)孤島。一旦在數(shù)據(jù)倉庫環(huán)境下部署Hadoop技術,用戶即可查詢數(shù)據(jù)倉庫及Hadoop中的信息。
誤區(qū)五:Hadoop是單一的開源產(chǎn)品
真相:Hadoop是產(chǎn)品庫及技術庫,包括Hadoop分布式文件系統(tǒng)、MapReduce、Pig、Hive、Falcon、Knox等。多家廠商開發(fā)Hadoop產(chǎn)品,并加入具有差異化優(yōu)勢的功能。例如,Hortonworks瀀湥獣臺幫助企業(yè)采集、處理并共享任意格式、任意規(guī)模的數(shù)據(jù)。并不是所有Hadoop產(chǎn)品都是開源的。Forrester報告稱,對Hadoop產(chǎn)品的需求使廠商面對競爭殘酷的市場,他們需要抓住一切機會銷售他們特有的Hadoop解決方案。
釋放HADOOP技術的全部潛能
Hadoop為大型數(shù)據(jù)集存儲及處理提供可靠的解決方案,幫助企業(yè)克服以往數(shù)據(jù)使用成本高、數(shù)據(jù)結構復雜的困難,高效利用各種類型的海量數(shù)據(jù)。雖然Hadoop技術用途廣、優(yōu)勢多,但它卻無法取代數(shù)據(jù)倉庫或數(shù)據(jù)整合工具。而通過與其它數(shù)據(jù)或分析解決方案整合,反而能夠提升Hadoop技術的價值。