Hadoop是近幾年才發(fā)展起來的一項(xiàng)新技術(shù)，其應(yīng)用相對比較復(fù)雜。因此，它的落地需要一個過程。在Hadoop生態(tài)圈內(nèi)具有極大影響力的Cloudera公司已于去年底進(jìn)入中國，其目標(biāo)之一是降低大數(shù)據(jù)應(yīng)用的門檻。
2014年12月10日，以肯睿(上海)軟件有限公司落戶上海為契機(jī)，在Hadoop生態(tài)圈內(nèi)具有極大影響力的Cloudera公司正式進(jìn)入中國。作為Cloudera親密的合作伙伴，英特爾放棄了自己的Hadoop軟件發(fā)行版，投入7.4億美元，全力支持Cloudera公司在Hadoop平臺上的創(chuàng)新與應(yīng)用。Cloudera公司副總裁、大中華區(qū)總經(jīng)理凌琦在接受本報記者獨(dú)家專訪時表示：“過去幾個月中，我們在中國做了一些打基礎(chǔ)的工作，目前正按部就班地推動產(chǎn)品在中國的落地。”
Cloudera落地中國
凌琦所說的基礎(chǔ)性工作主要包括以下幾項(xiàng)：第一，拓展中國的行業(yè)應(yīng)用市場，在重點(diǎn)關(guān)注的電信、金融、保險、證券、制造等幾個行業(yè)中，Cloudera在每個行業(yè)中都至少擁有一個成功案例;第二，開展大規(guī)模技術(shù)培訓(xùn)，Cloudera第一輪的大數(shù)據(jù)培訓(xùn)正在進(jìn)行中，目前已擁有一批正式的培訓(xùn)合作伙伴;第三，將原來基于Intel Apache Hadoop軟件發(fā)行版IDH的客戶應(yīng)用遷移到Cloudera Apache Hadoop軟件發(fā)行版CDH平臺上，目前這項(xiàng)工作正在有條不紊地進(jìn)行中;第四，理順公司內(nèi)部各種關(guān)系，建立人員培訓(xùn)、銷售、開發(fā)支持等流程和制度。
英特爾自身將停止對IDH的研發(fā)，但是IDH的用戶將繼續(xù)得到支持。原來IDH產(chǎn)品的支持、營銷和實(shí)施團(tuán)隊(duì)的部分人員已加入Cloudera，他們可以對IDH的用戶繼續(xù)提供支持。另外，從Cloudera CDH 5.0版本開始，IDH與CDH的產(chǎn)品開發(fā)團(tuán)隊(duì)將進(jìn)行聯(lián)合開發(fā)，IDH的所有功能都將逐步融入到新版本的CDH產(chǎn)品中。
Hadoop處于不斷發(fā)展之中
許多用戶剛剛接觸Hadoop時，都把它與大數(shù)據(jù)劃等號，似乎Hadoop就是一個萬能的大數(shù)據(jù)工具。但是隨著對大數(shù)據(jù)、Hadoop的了解日益加深，用戶開始更理性地看待Hadoop。有人也曾提出質(zhì)疑，Hadoop在實(shí)時處理的性能方面還有不足之處。
凌琦表示，每一個平臺都有它自己的最佳實(shí)踐場景。Hadoop是目前解決大數(shù)據(jù)存儲、管理、分析的最有前途的高效和低成本的平臺。不過需要強(qiáng)調(diào)的是，Hadoop本身也在發(fā)展之中，它從最初的兩個核心產(chǎn)品——HDFS文件系統(tǒng)和MapReduce開始，隨后逐漸擴(kuò)張和延伸，又增加了許多各種各樣的工具， 比如Spark。
Hadoop仍處于成長的過程中。但是不可否認(rèn)，現(xiàn)在很多大數(shù)據(jù)解決方案的基礎(chǔ)或核心都是Hadoop。圍繞Hadoop產(chǎn)生的各種各樣的延伸系統(tǒng)進(jìn)一步增強(qiáng)了Hadoop的處理能力。
許多廠商在推出大數(shù)據(jù)解決方案時，通常都會表示其解決方案也支持Hadoop。“Hadoop是大數(shù)據(jù)處理的核心平臺，是用戶的必然選擇，也是對傳統(tǒng)的數(shù)據(jù)處理工具的一個必要補(bǔ)充。”凌琦表示。
Hadoop本身比較復(fù)雜，不具備較強(qiáng)技術(shù)能力的企業(yè)不適宜直接基于Hadoop進(jìn)行應(yīng)用開發(fā)，最好的辦法還是采用各廠商推出的Hadoop軟件發(fā)行版。Cloudera的主要產(chǎn)品也是Hadoop軟件發(fā)行版。
Hadoop作為一個平臺軟件，本身包括很多工具，一個開發(fā)團(tuán)隊(duì)不僅要熟悉掌握這些工具，而且還要知道這些工具之間如何相互配合和針對具體問題的最佳選擇和配置。Cloudera的Hadoop軟件發(fā)行版實(shí)際上是把業(yè)界最好用的大數(shù)據(jù)工具與簡單的管理界面相結(jié)合，降低了開發(fā)和使用的難度。用戶沒有必要以開源版本為基礎(chǔ)自己開發(fā)和驗(yàn)證Hadoop平臺，只要選擇一個Hadoop軟件發(fā)行版即可。簡化大數(shù)據(jù)和Hadoop的應(yīng)用是Cloudera追求的一個目標(biāo)。
正因?yàn)橛辛讼馛DH這樣的產(chǎn)品，用戶可以在這個平臺上更輕松地進(jìn)行開發(fā)，做更多的嘗試。“降低大數(shù)據(jù)應(yīng)用門檻的關(guān)鍵是要有一個功能強(qiáng)大且好用易用的底層平臺軟件，盡量減少上層應(yīng)用開發(fā)的復(fù)雜性。”凌琦表示。
Cloudera如何保持產(chǎn)品的差異化競爭優(yōu)勢呢?Cloudera具有強(qiáng)大的技術(shù)能力，在開源社區(qū)中對Hadoop代碼的貢獻(xiàn)量排名第一。Cloudera不僅具有強(qiáng)大的開發(fā)能力，而且擁有完整的測試系統(tǒng)，可以保證大數(shù)據(jù)產(chǎn)品的兼容性、穩(wěn)定性和可靠性。
許多誕生于開源社區(qū)的產(chǎn)品，如果想進(jìn)入企業(yè)應(yīng)用領(lǐng)域，除了產(chǎn)品功能以外，更重要的是不斷提升產(chǎn)品的性能、可靠性、安全性、可用性和易用性等。CDH就是經(jīng)過反復(fù)測試和無數(shù)次的改進(jìn)，集成了易用的管理界面和豐富的工具才逐漸贏得了企業(yè)客戶的青睞。
Cloudera有一支龐大的專業(yè)技術(shù)團(tuán)隊(duì)和充足的資金，持續(xù)推動Hadoop產(chǎn)品的開發(fā)。
標(biāo)準(zhǔn)化與開放也是一個產(chǎn)品具有強(qiáng)大生命力所必須具備的特征。Cloudera的產(chǎn)品開發(fā)與開源社區(qū)的發(fā)展是同步的，每一個組件的開發(fā)都凝聚了社區(qū)內(nèi)多個廠商的智慧。同時，Cloudera也會隨時將自己的最新技術(shù)成果及時反饋給開源社區(qū)。
在中國，Cloudera與英特爾有聯(lián)合的研發(fā)機(jī)構(gòu)。該機(jī)構(gòu)會收集中國用戶的需求和反饋，一方面?zhèn)鬟f給Cloudera總部，有助于公司總部策略的制定;另一方面，Cloudera本地的研發(fā)機(jī)構(gòu)也會根據(jù)用戶的反饋，對產(chǎn)品進(jìn)行適當(dāng)改進(jìn)，以滿足個別的要求。
Hadoop有更大的發(fā)揮空間
無論是云計算還是大數(shù)據(jù)，都經(jīng)歷了從概念炒作到應(yīng)用落地的一個過程。大數(shù)據(jù)落地的速度似乎比云計算更快，一個重要的原因是有像Hadoop這樣的大數(shù)據(jù)工具。
大數(shù)據(jù)更靠近應(yīng)用。“銀行用戶在提升客戶服務(wù)質(zhì)量的過程中雖然借助了大數(shù)據(jù)技術(shù)，但他們不會把‘大數(shù)據(jù)’三字掛在嘴邊。只有大家都關(guān)注如何在實(shí)際應(yīng)用中利用大數(shù)據(jù)工具，而不是空洞地談?wù)?lsquo;大數(shù)據(jù)’這三個字時，大數(shù)據(jù)市場才算真正成熟。”凌琦表示。
歐美地區(qū)的客戶與中國客戶所處的大數(shù)據(jù)應(yīng)用階段不同。凌琦介紹說，在歐美地區(qū)，大數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè)已經(jīng)經(jīng)歷了一個過程，企業(yè)客戶的IT基礎(chǔ)設(shè)施與規(guī)劃相對成熟，主要考慮的是結(jié)合應(yīng)用部門的需求，逐步進(jìn)入大數(shù)據(jù)的深層次應(yīng)用階段。目前，中國企業(yè)正處于從討論要不要用大數(shù)據(jù)到討論大數(shù)據(jù)到底要由哪個部門來實(shí)施，選擇什么樣的大數(shù)據(jù)技術(shù)比較好的過渡過程中。中國客戶在大數(shù)據(jù)應(yīng)用方面落后歐美客戶1～3年，而每個行業(yè)又有所不同。舉例來說，英國和美國的很多醫(yī)療機(jī)構(gòu)已經(jīng)把大數(shù)據(jù)與醫(yī)療系統(tǒng)、保險系統(tǒng)等相結(jié)合，進(jìn)行疾病流行趨勢的預(yù)測和分析。而國內(nèi)的醫(yī)療機(jī)構(gòu)大多只是在醫(yī)院內(nèi)部的某個系統(tǒng)中應(yīng)用了大數(shù)據(jù)技術(shù)。
大數(shù)據(jù)是一項(xiàng)系統(tǒng)工程，包括數(shù)據(jù)的收集、管理、分析等環(huán)節(jié)，甚至還會改變整個業(yè)務(wù)的流程。因此，大數(shù)據(jù)需要建立一個生態(tài)系統(tǒng)，而Hadoop是其中的核心。
Hadoop要做的是基于數(shù)據(jù)、存儲和管理的平臺，同時針對上層應(yīng)用提供一些分析工具。Hadoop是一個通用的大數(shù)據(jù)平臺。行業(yè)用戶可以圍繞Hadoop進(jìn)行延伸，創(chuàng)造出新的不同的大數(shù)據(jù)處理工具，并與行業(yè)應(yīng)用需求相結(jié)合，這樣才能充分發(fā)揮Hadoop的價值。
未來，中國的大數(shù)據(jù)市場還有哪些熱點(diǎn)呢?凌琦表示，金融、制造、零售業(yè)的大數(shù)據(jù)應(yīng)用會走在前面。舉例來說，在國外，零售業(yè)的大數(shù)據(jù)應(yīng)用已經(jīng)非常成熟，而國內(nèi)的零售業(yè)更多還是采用拼價格的方式吸引客戶，并沒有通過大數(shù)據(jù)工具大規(guī)模地分析客戶的使用習(xí)慣和消費(fèi)行為。因此，在中國，大數(shù)據(jù)在零售業(yè)擁有更大的施展空間。
另外，中國的制造業(yè)要轉(zhuǎn)型升級，就不能再依靠廉價的勞動力，而要突出“智造”，借助大量傳感器對工業(yè)系統(tǒng)實(shí)現(xiàn)自動控制和柔性制造，實(shí)現(xiàn)設(shè)計和制造的一體化，這些都需要用到大數(shù)據(jù)。
京公網(wǎng)安備 11010502049343號