海量數據的時代正在到來,在這種環境下,需要有新的技術手段來應對大數據帶來的挑戰,并充分挖掘其潛在價值,實現業務的進一步發展和保持企業的競爭優勢。作為半導體領導廠商,英特爾擁有完整的涵蓋軟硬件平臺的大數據解決方案。
根據IDC預測,全球的數據使用量到2020將將會增長44倍,達到35.2ZB(1ZB=10億TB)。Facebook、Twitter、微博等各種社交平臺的海量數據,以及視頻通訊、醫療影像、地理信息和監控錄像等視頻內容也會極具增加,加之傳感器、RFID閱讀器、導航終端等非傳統IT設備和移動設備,都將產生越來越多的數據。增加的這些數據當中,有80%的數據屬于非結構化。
面對這些巨變,傳統的IT技術并不足以應對這種新挑戰,傳統的關系型數據庫以及桌面BI分析軟件處理的結構化數據,其容量一般都在GB級別,無法從更大的數據集中發現有意義的信息。另外,需要處理的目標數據也一直在增長,傳統技術無法適應這種擴展性。
那么,究竟什么樣的技術和解決方案才能勝任這種挑戰呢,我們認為,適合大數據時代需求的解決方案,一般要具備以下條件:
支持PB級別數據的處理和分析
支持結構和非結構化數據
支持萬級每秒數據查詢
支持高可靠性系統
支持高頻率統計分析
也就是說,對于大量的結構化和非結構化數據,支持可變的數據結構和高效的數據導入、查詢、統計分析。作為引領服務器發展方向的英特爾來說,目前它擁有在Apache開源版基礎上修訂的發行版和免費版兩個Hadoop版本,并在GitHub維護著Project Panthera開源項目,其中包括即時分析、基于HBase的文檔存儲、基于Hive/MapReduce的分析SQL引擎、HiBench和 HiTune等子項目。
英特爾Hadoop發行版組成
為何談大數據的時候我們要重點談Hadoop呢?因為Hadoop是目前為止大數據解決方案的主流平臺,也是順應未來大數據和云計算環境的平臺。接下來,我們將為大家介紹英特爾發行版Hadoop在應對大數據挑戰方面的獨特優勢。
相比其他版本的Hadoop,英特爾Hadoop發行版有何優勢呢?眾所周知,英特爾在開放服務器領域有著豐富而又完整的解決方案,在云計算、數據中心領域積累了大量實踐經驗。而Hadoop無疑是云計算領域中最炙手可熱的技術,也是商業價值最突出的大數據處理平臺。英特爾結合自己的硬件技術和成熟經驗,打造面向大數據應用的Hadoop平臺,有助于提供相比其他Hadoop平臺更可靠、更高性能、更多和更易于管理的大數據解決方案:
更高性能
基于Hadoop底層的大量優化算法,使應用效率更高、計算存儲分布更均衡。系統安裝程序計算得出的參數配置,適合目前主流平臺的大多數應用情況。而且,它與硬件技術深度結合,可幫助提高平臺性能,實現軟硬一體的大數據高效率解決方案。
更可靠
全面測試的企業級發行版,保證長期穩定運行。集成最新開源的和自行開發的補丁,用戶可以及時修正漏洞。保證各個部件之間的一致性,使應用順滑運行。
更易于管理
提供獨有的基于瀏覽器的集群安裝和管理界面,解決開源版本管理困難的問題。提供網頁、郵件方式的系統異常報警。
更多功能
提供跨數據中心的HBase數據庫虛擬大表功能。實現HBase數據庫復制和備份功能。其他針對企業用戶需要的增強功能。
英特爾Hadoop發行版與開源版本功能對比
目前,英特爾發行版Hadoop在電信、視頻監控、生產制造等行業都有廣泛應用。另外,去年英特爾推出發行版Hadoop的免費版。免費版本除了在支持的節點數量和存儲容量上和發行版不同外,其核心代碼和核心功能都相同。它有助于讓更多的用戶試用和體驗Hadoop在大數據處理上的性能和優勢,降低大數據應用的門檻。從而將大數據Hadoop解決方案惠及更多用戶。