《企業網D1Net》1月10日訊
在大數據時代下,提及Hadoop技術,相信很多都不陌生,就于Hadoop技術本身而言,可以說是開源領域的傳奇,然而如今業界還伴隨著一些流言,這些流言可能會導致IT高管們帶著“有色”的觀點去制定策略。
從IDC分析師報告中2013年數據存儲上的增長速度將達到53.4%,AT&T更是聲稱無線數據的流量在過去的5年內增長200倍,從互聯網內容、電子郵件、應用通知、社交消息以及每天接收的消息都在顯著的增長,這也是眾多大企業都聚焦大數據的原因所在。
毫無疑問,Hadoop成為解決大數據需求的主要投資領域之一,而類似Facebook等互聯網巨頭在都公開的吹捧Hadoop上取得的成功,同樣初入大數據領域的公司也必先著眼于Hadoop。但對于Hadoop技術而言,是一個多維的解決方案,可以通過不同的方式進行部署和使用。下面就了解一些關于Hadoop和大數據的七大錯誤理念:
1.大數據僅僅是容量
對大數據來說,除了指體積之外,還經常提到Variety(多樣)、Variability(可變)、Velocity(速度)和Value(價值)。關鍵點在于大數據并不是體積上的增長,更多是未來的實時分析、結構化和非結構化數據的發展,并被企業CIO用于更好的決策。
綜上所述,并不是只有分析大數據才會獲得價值。舉個例子,存儲和分析1PB的超時限數據的價值可能比不上實時分析1GB的數據,而從“新鮮”的數據上獲得價值比解剖過時的數據更具價值。
2.傳統SQL不能在Hadoop上使用
眾多廠商在Hadoop上投入精力,布局市場戰略時,十分清楚HDFS和MapReduce受限于處理類似SQL語言的能力,這也是Hive、Pig和Sqoop最終得以推廣的原因。更多企業通過Hadoop和SQL兼容來管理大量的數據,Pivotal HD是結合SQL并行處理資料庫與Hadoop 2.0,針對企業資料分析需求而優化的Hadoop強化版本。
3.Hadoop是唯一的新IT數據平臺
談到數據平臺,大型機在IT投資組合里有是一個長期投資,與ERP、CRM和SCM這些系統一樣演變至今。而面對大數據時代,大型機不想被架構遺棄,必須展示在現有IT投資環境中的價值,而許多客戶遇到速度、規模和成本的問題,通過vFabric SQLFire這樣的內存大數據網絡去解決高速數據存取,促進大型機批處理或實時分析報告這些問題。
4.虛擬化會導致性能下降
Hadoop最初的設計只是運行實體服務器上,然而隨著云計算發展,許多企業都希望能作為云數據中心提供服務。之所以虛擬化Hadoop,企業首先要考慮管理基礎設施的擴展性,認識到擴展計算資源,比如虛擬Hadoop節點在數據和計算分開時會對性能有所幫助,否則如果你關閉某個Hadoop節點將丟失上面的所有數據或者添加一個沒有數據的空節點。
5.Hadoop只可以在數據中心運行
對于在SaaS云服務解決方案,許多云服務允許云端運行Hadoop、SQL,這無疑可以幫助企業省下數據中心建造投資的時間和金錢。特別是對于公有云情況下,Java開發者可以從Spring Data for Hadoop以及一些其它的GitHub用例中獲益。
6.Hadoop對虛擬化無經濟價值
Hadoop被很多人認為,盡管在商用服務器上運行,添加一個虛擬層在帶來額外支出的同時并不會有額外的價值收益,但其實這個說法并沒有考慮到數據和數據分析事實上都是動態的。虛擬化基礎設施同樣可以減少物理硬件數量,讓CAPEX(資本支出)直接等于商用硬件成本,而通過自動以及高效利用共享基礎設施同樣可以減少OPEX(運營成本)。
7.Hadoop不能運行在SAN或NAS上
盡管Hadoop在本地磁盤上運行,對于中小型集群一樣可以在一個共享的SAN環境下體現良好的性能表現,而高帶寬比如10GB以太網、PoE以及iSCSI對性能同樣有很好的支持。
以上七大有關大數據“誤解”問題的客觀看待。如同不同項目需求不同,Hadoop是一個工具來幫助企業更好的應對大數據問題。無論是面對數據網格的GemFire 或SQLFire,還是面向消息的RabbitMQ中間件,一個完整的SaaS解決方案如今比在Hadoop環境更容易實現。
D1Net評論:
大數據的影響力日漸深入,大數據已經成為行業追逐的焦點,正確認識大數據的錯誤理念,可以幫助人們走出迷霧森林,以上幾點關于大數據錯誤理念,需要客觀理性看待,找尋應對策略,才能正確運用大數據,將大數據價值發揮的淋漓盡致。