Cloudera(英語:Cloudera, Inc.)是一家位于美國的軟件公司,向企業(yè)客戶提供基于Apache Hadoop的軟件、支持、服務(wù)以及培訓(xùn)。Cloudera出售基于Hadoop的軟件,也發(fā)布自家版本的Hadoop產(chǎn)品,幫助訂閱客戶管理數(shù)據(jù)。
Cloudera中國專區(qū)地址>>>
Cloudera的開源Apache Hadoop發(fā)行版,亦即(Cloudera Distribution including Apache Hadoop,CDH),面向Hadoop企業(yè)級(jí)部署。Cloudera稱,其一半以上的工程產(chǎn)出捐贈(zèng)給了各個(gè)基于Apache許可與Hadoop緊密相連的開源項(xiàng)目(Apache Hive、Apache Avro、Apache HBase等等)。Cloudera還是Apache軟件基金會(huì)的贊助商。
高管情況:Cloudera由來自Facebook、谷歌和雅虎的前工程師杰夫·哈默巴切(Jeff Hammerbacher)、克里斯托弗·比塞格利亞(Christophe Bisciglia)、埃姆·阿瓦達(dá)拉(Amr Awadallah)以及現(xiàn)任CEO、甲骨文前高管邁克·奧爾森(Mike Olson)在2008年創(chuàng)建。
客戶情況:Cloudera的客戶中倒是有很多知名公司,如AOL、哥倫比亞廣播公司、eBay、Expedia、摩根大通、Monsanto、諾基亞、RIM和迪士尼等。
一、Cloudera公司的融資情況
今年4月初,英特爾以7.4億美元收購了其18%的股份。為此,英特爾關(guān)停了自主研發(fā)Hadoop的團(tuán)隊(duì),轉(zhuǎn)為采用Cloudera的Hadoop解決方案。
Cloudera目前所獲投資如下,總額已達(dá)12.01億美金:
二、Cloudera系列產(chǎn)品介紹
1.Cloudera Manager:
有四大功能
(1)管理
(2)監(jiān)控
(3)診斷
(4)集成
2.Cloudera CDH:英文名稱:CDH (Cloudera’s Distribution, including Apache Hadoop)
Cloudera對(duì)hadoop做了相應(yīng)的改變。
Cloudera公司的發(fā)行版,我們將該版本稱為CDH(Cloudera Distribution Hadoop)。
3.Cloudera Flume
Flume是Cloudera提供的日志收集系統(tǒng),F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù);
Flume是Cloudera提供的一個(gè)高可用的,高可靠的,分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng),F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù);同時(shí),F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡單處理,并寫到各種數(shù)據(jù)接受方(可定制)的能力。
Flume最早是Cloudera提供的日志收集系統(tǒng),目前是Apache下的一個(gè)孵化項(xiàng)目,F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù);同時(shí),F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡單處理,并寫到各種數(shù)據(jù)接受方(可定制)的能力 Flume提供了從console(控制臺(tái))、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系統(tǒng),支持TCP和UDP等2種模式),exec(命令執(zhí)行)等數(shù)據(jù)源上收集數(shù)據(jù)的能力。
Flume采用了多Master的方式。為了保證配置數(shù)據(jù)的一致性,F(xiàn)lume[1]引入了ZooKeeper,用于保存配置數(shù)據(jù),ZooKeeper本身可保證配置數(shù)據(jù)的一致性和高可用,另外,在配置數(shù)據(jù)發(fā)生變化時(shí),ZooKeeper可以通知Flume Master節(jié)點(diǎn)。Flume Master間使用gossip協(xié)議同步數(shù)據(jù)。
4.Cloudera Impala
Cloudera Impala對(duì)你存儲(chǔ)在Apache Hadoop在HDFS,HBase的數(shù)據(jù)提供直接查詢互動(dòng)的SQL。除了像Hive使用相同的統(tǒng)一存儲(chǔ)平臺(tái),Impala也使用相同的元數(shù)據(jù),SQL語法(Hive SQL),ODBC驅(qū)動(dòng)程序和用戶界面(Hue Beeswax)。Impala還提供了一個(gè)熟悉的面向批量或?qū)崟r(shí)查詢和統(tǒng)一平臺(tái)。
5.Cloudera hue
Hue是cdh專門的一套web管理器,它包括3個(gè)部分hue ui,hue server,hue db。hue提供所有的cdh組件的shell界面的接口。你可以在hue編寫mr,查看修改hdfs的文件,管理hive的元數(shù)據(jù),運(yùn)行Sqoop,編寫Oozie工作流等大量工作。
三、Cloudera的hadoop認(rèn)證
Cloudera的Hadoop認(rèn)證目前包括兩類:開發(fā)員和管理員。而這兩個(gè)認(rèn)證考試和其相應(yīng)Hadoop培訓(xùn)課程往往是綁定在一起的。
不用多說,Cloudera大有發(fā)展成為Hadoop領(lǐng)域RedHat之趨勢(shì),其提供的認(rèn)證考試自然會(huì)考核到那些非常重要的知識(shí)點(diǎn)和技能。他們的開發(fā)員資格證書和管理員資格證書在全球業(yè)內(nèi)是目前唯一的也自然是最具權(quán)威性的。目前我們正處在大數(shù)據(jù)時(shí)代,企業(yè)要向“數(shù)據(jù)驅(qū)動(dòng)”模式轉(zhuǎn)換,Hadoop人才需求很大,但是國內(nèi)外Hadoop人才短缺。國外譬如Oracle,Apple和HP等都不再坐等合適的具有Hadoop技能的應(yīng)聘者上門,而是逐漸采取派遣其員工參加Cloudera的Hadoop培訓(xùn)和認(rèn)證考試。
綜上所述,回答是Cloudera的Hadoop培訓(xùn)和認(rèn)證非常有用:1)獲得了讓大家信得過的Hadoop技能 2)所以,在其他條件相同的情況下,用人單位會(huì)更相信以及會(huì)優(yōu)先考慮持有Cloudera認(rèn)證的工程師,為企業(yè)保障了Hadoop人員的質(zhì)量,而這對(duì)個(gè)人的職業(yè)發(fā)展也無疑將是很大的幫助。
BTW,等拿到了證書,加入他們?cè)贚inkedin上的認(rèn)證群,也許會(huì)經(jīng)常被不乏國內(nèi)外知名公司的眾獵頭所“騷擾”,這算不算的上也是一個(gè)好處呢
四、競爭對(duì)手/相似企業(yè)
1、Hortonworks
2、Pivotal
3、MapR
4、中國·上海·星環(huán)科技
其他:如同中國的企業(yè)大多數(shù)新興企業(yè)一樣,Cloudera也抱上了英特爾的大腿,而Hortonworks前期抱的是雅虎的大腿,后面是惠普。這可能也會(huì)成為大數(shù)據(jù)行業(yè)的一個(gè)新現(xiàn)象,就是新興企業(yè)不斷與老牌知名企業(yè)合作,實(shí)現(xiàn)1+1>的商業(yè)價(jià)值,從而進(jìn)行技術(shù)、資源的互補(bǔ)。