Hadoop俗稱分布式計算,最早作為一個開源項目,最初只是來源于谷歌的兩份白皮書。然而正如十年前的Linux一樣,雖然Hadoop最初十分簡單,但隨著近些年來大數據的興起,其也獲得了一個充分體現價值的舞臺。這也正是業內普遍將Hadoop看做是下一個Linux的原因。
Hadoop本身是分布式平臺,通常來說是由Maste和SqoopHIVE兩個角色所構成,用來做數據處理和存儲。Hadoop的特點是隨著Sqoop數據增加,呈線性擴展方式來進行彈性伸縮。
Hadoop可為電信行業提供有效數據存儲
具體到電信行業,Hadoop的作用主要有五個方面。一個是海量低價值密度的數據存儲,可以實現像結構化、半結構化、非結構化數據存儲,為我們偏冷的數據或者中溫度的數據提供高聚合帶寬訪問和擴容能力。比如典型的業務類型像日志存儲和分析,運營商的搜索服務等業務都可以在Hadoop上進行相應的運行。
除了數據存儲的應用之外,Hadoop的第二類應用則是在數據倉儲里常見的ETL類應用。眾所周知,數據的提取和組織是數據應用必不可少的過程,所有結構化、半結構化數據或者不同系統之間的數據格式都不一樣,只有進行相應的組織之后,才能進行分析,而Hadoop得作用也恰恰就在于此。
Hadoop的第三類應用就是可以做查詢系統或者是離線的查詢系統。比如說詳單的查詢,上網記錄的查詢,投訴高并發的查詢,甚至一些離線分析都可以在Hadoop上完成。
第四種應用就是我們說的話單拆分,處理系統。像二級一級話單處理等。
第五種則主要是為CEP實時處理提供相應的支撐,比如基于用戶位置變化進行廣告投送,來進行精準廣告的推送,這些都可以通過Hadoop 數據庫的功能來完成。
英特爾數據中心軟件部大數據產品高級顧問黎超先生表示,我們認為Hadoop對整個X86的發展會是一次重大的機會,所以英特爾是Apache主要貢獻者之一,同時英特爾希望能利用在軟硬件方面的投入,使得Hadoop更容易走向傳統行業,而并非僅僅局限于互聯網行業。
另外,在英特爾看來,中國市場也是Hadoop發展的重點所在。因為中國市場是英特爾的第一大市場,所以英特爾Hadoop核心研發團隊完全設在中國上海,目的就是更好的去服務于我們本地的客戶。
大家現在看到的英特爾Hadoop發行版的軟件包堆棧狀態,在英特爾Hadoop發行版里基本包含了所有Hadoop重要的組件,從HDFS到MapReduce到更多語言開發接口以及數據采集接口,同時英特爾提供圖形化界面簡化企業用戶對Hadoop的管理工具包。
和傳統的Hadoop相比,英特爾的產品改進之處頗多。第一個是提供商業化的支撐,因為傳統行業不像互聯網客戶能大量使用開源軟件,傳統行業客戶如果使用開源軟件,通常也需要有這種廠商來提供商業化的支撐。也就是說在問題出現之后能夠獲得相應的服務.
電信、金融等行業需求有別于互聯
黎超先生表示,諸如電信,金融等傳統行業的客戶,其自身需求和互聯網客戶還有所不同,前者在數據的安全性上比互聯網的客戶要求更高。所以英特爾Hadoop發行版在數據的安全性、可用性、性能以及易用性等方面都做了比較多的改進。
對于復雜的大數據處理過程而言,沒有任何一種平臺能夠完全滿足其需求。英特爾的Hadoop也不例外,這就需要Hadoop本身具有良好的多平臺兼容性,比如英特爾Hadoop發行版可以跟電信企業所有數據平臺通過各種各樣的接口集成,這樣就為電信客戶形成了一整套完整有效的大數據平臺解決方案。便于在不同情況下滿足用戶的不同需求。
英特爾除了提供Hadoop軟件發行包以外,另外可以為用戶去提供大數據設備的設計參考,比如說針對數據訪問特性,無論高并發類型的訪問還是長時間保留低價值密度的數據需求,我們都可以提供不同的參考,企業用戶可以根據這些參考找到對應的服務器生產廠商來提供相應的設備去構建自己的大數據平臺。