很多企業(yè)正在將Hadoop應(yīng)用到他們的IT基礎(chǔ)設(shè)施中去。對于擁有強大工程團隊，經(jīng)驗豐富的大數(shù)據(jù)老手們來說，要設(shè)計目標系統(tǒng)，選擇技術(shù)堆棧，以及啟動項目通常并不是什么大問題。即便是那些經(jīng)驗老道的人有時仍會面對諸多復(fù)雜紛繁的障礙，而Hadoop初學(xué)者會在起始階段就面臨無數(shù)的挑戰(zhàn)。下面我們列出了一些最為常見的Hadoop問題。
供應(yīng)商多元化。該選誰呢?
最為常見的反應(yīng)是從Apache網(wǎng)站上使用原始的Hadoop二進制文件，但是這會導(dǎo)致這樣的問題，即為什么只有少數(shù)公司在生產(chǎn)環(huán)境中投入使用。對于不這樣做有著很多的爭議。但當來自于Hortonworks，Cloudera，MapR的很多Hadoop發(fā)行版可免費下載時，恐慌接踵而至，而又隨著大型商業(yè)IBMInfoSphere BigInsights以及OracleBig Data Appliance的參與趨于終止。Oracle甚至包含了硬件!當一些行業(yè)引入了供應(yīng)商后事情變得更為復(fù)雜。選擇正確的版本并非易事，甚至對于經(jīng)驗老道的人亦是如此，因為它們每一個都要嵌入不同的Hadoop組件(如CDH中的ClouderaImpala)，配置管理器(Ambari，Cloudera Manager等等)。
SQL on Hadoop非常流行，但并不明確…
Hadoop存儲了大量數(shù)據(jù)。除了根據(jù)預(yù)定義管道進行處理外，企業(yè)還想讓數(shù)據(jù)科學(xué)和業(yè)務(wù)分析人員通過交互訪問來獲取更多價值。Internet上的口碑營銷迫使他們這樣去做，雖不是很明確，但暗含的意思就是企業(yè)數(shù)據(jù)倉庫的競爭。這里的情況類似于供應(yīng)商多元化，由于有相當多的框架可以提供“Hadoop上的SQL”，如何選擇它們中最好的并非挑戰(zhàn)所在。要明白它們目前都還無法完全取代傳統(tǒng)OLAP數(shù)據(jù)庫。與此同時，它們有很多策略優(yōu)勢，但在性能，SQL兼容性以及對簡化的支持方面都有可商榷的短板。這是另外一個世界，你要么遵守它的規(guī)則，要么就不要把它看作是傳統(tǒng)方法的替代品。
大數(shù)據(jù)工程師不好招
一個好的工程人員是任何IT企業(yè)的重要組成部分，而這在大數(shù)據(jù)中尤為關(guān)鍵。在大多數(shù)案例中依賴好的Java/Python/C++工程師來設(shè)計/實現(xiàn)高質(zhì)量的數(shù)據(jù)處理流程便意味著花費大量金錢。經(jīng)過兩年的發(fā)展，你所擁有的可能會是不穩(wěn)定，不被支持的以及過度工程化的混亂腳本和框架。如果關(guān)鍵開發(fā)人員離去，那么這種情況就會變得糟糕。與任何其他編程領(lǐng)域一樣，經(jīng)驗豐富的大數(shù)據(jù)開發(fā)人員會花費大量時間來思考如何讓事情變得簡單以及系統(tǒng)在未來將會如何加以評估。由于經(jīng)驗在大數(shù)據(jù)技術(shù)棧中是一個關(guān)鍵因素。因此尋找經(jīng)驗豐富的開發(fā)人員才是真正挑戰(zhàn)所在。
安全的Hadoop環(huán)境讓人頭痛。
越來越多的公司在Hadoop上存儲敏感數(shù)據(jù)。盡管這些數(shù)據(jù)不是信用卡號，但是這些數(shù)據(jù)至少各自有著安全規(guī)范方面的要求。因此這一挑戰(zhàn)純粹是技術(shù)層面的，但往往會引發(fā)問題。如果僅僅是使用HDFS和MapReduce，那么事情就會很簡單。動態(tài)數(shù)據(jù)和靜態(tài)加密數(shù)據(jù)都是可用的，文件系統(tǒng)權(quán)限足以用來進行授權(quán)，Kerberos則用來進行身份驗證。只需用顯式邊緣節(jié)點添加圍墻和主機級的安全性并保持靜默即可。但是一旦你決定使用其他框架，尤其是如果它們在自己的系統(tǒng)用戶下執(zhí)行請求，那么你就會陷入麻煩。首先，并不是所有框架都支持Kerberized環(huán)境。其次，它們可能沒有自身的授權(quán)功能。第三，經(jīng)常性缺乏加密運動數(shù)據(jù)。最后，如果請求是在集群之外進行提交會引起很多問題。
結(jié)論
以上內(nèi)容遠未達到完整的程度，而且有人可能會被嚇跑而決定完全不使用Hadoop或是推遲對其的使用。這是不明智的。經(jīng)驗老道的人使用Hadoop可以為企業(yè)帶來很多好處。與其他大數(shù)據(jù)框架和技術(shù)結(jié)合，它可以讓面向數(shù)據(jù)業(yè)務(wù)的功能提升到一個全新的性能水平。
京公網(wǎng)安備 11010502049343號