2015也快過去一半了,Hadoop在過去一年的發展究竟如何,下面小象帶你盤點一下2014Hadoop大事件!
2014年2月,Hadoop 2.3.0發布,新特性包括支持HDFS的混合存儲分級,可以集中管理HDFS內存里的緩存數據,通過HDFS中的YARN分布式緩存簡化MapReduce分配及一些Bug修正。
2014年4月,Hadoop 2.4.0發布。包括HDFS支持ACL權限控制機制、容易升級、支持支持https訪問、支持ResourceManager因故障掛掉重啟后,可以恢復之前正在運行的應用程序(用戶不需重新提交)、增加了Yarn共享信息存儲模塊ATS等。
2014年8月,Hadoop 2.5.0發布。新特性包括擴展文件屬性、改進 HDFS 的 Web UI,提升 Yarn共享信息存儲模塊ATS 安全性,更豐富的 YARN REST API 等。
2014年11月,Hadoop 2.6.0發布。增加了基于HadoopKeyProvider API編寫的密鑰管理服務器Hadoop Key Management Server(KMS)、HDFS實現了一個透明的,端到端的加密方式、長期存在的服務可以在YARN中運行、支持Docker容器中的本機應用程序等。
Hadoop 2 的逐步更新是不是意味著Hadoop已經走向成熟的企業級技術了呢?其實它還有很長的路要走。
SQL-on-Hadoop
如果不能使用SQL語言,Hadoop無疑是在構建下一個數據孤島,因此SQL-on-Hadoop獲得了越來越多的關注。
Apache Hive 0.13發布。Hive是最早的基于Hadoop的SQL引擎。
Apache 基金會宣布Apache Drill升級成為基金會的頂級項目。Drill包含SQL解析器,兼容SQL環境和Hive。
除此之外,還有很多SQL引擎可供選擇。
數據庫領域初創公司Splice Machine上周宣布,發布SQL-on-Hadoop數據庫,官方宣稱它可以在HDFS(Hadoop分布式文件系統)中運行SQL查詢和ACID事務。
喧囂與躁動
Hadoop市場從未像今年這樣熱鬧過,商用版Hadoop供應商紛紛抱大腿,很多傳統廠商也來分一杯羹。
Cloudera
因特爾放棄了自己研發的Hadoop發行版,轉而支持Cloudera,以7.4億美元收購Cloudera 18%的股份。
紅帽和Cloudera聯盟,一起開發包括數據集成和應用開發工具,以及數據平臺在內的軟件解決方案。
Cloudera成立中國分公司,取名“肯睿(上海)軟件有限公司”,正式入華。
Hortonworks
惠普投資5000萬美元與Hortonworks達成戰略性合作關系,二者聯手開發Hadoop技術,使其在惠普的Haven大數據平臺上運行。
EMC分拆公司Pivotal和Hortonworks合作,聯手打造Hadoop標準管理工具Apache Ambari。
Teradata
Teradata收購數據咨詢公司Think Big Analytics,借此獲得Hadoop業務能力
Teradata與MapR合作,獲得MapR軟件、專業服務及客戶支持服務的經銷權,并作為同時使用Teradata及MapR解決方案客戶的單點聯系方提供服務。
Oracle
Oracle最新推出的SQL擴展方案——Oracle大數據SQL(Big Data SQL)能實現一條SQL查詢來從Cloudera Hadoop(CDH)和Oracle NoSQL數據庫中調取數據,同時也支持Exadata上運行的Oracle關系型數據庫。
應用案例
很多CIO非常關心Hadoop技術發展到什么程度了,還有沒有成熟。其實CIO更應該關心的是自己的企業發展到什么程度了,適不適合使用Hadoop。沒有完全成熟的技術,只有能否滿足業務需求的產品。很多公司都應用了Hadoop技術,來看看今年曝光的應用案例吧!
美國電商eBay每天要處理100PB的數據,其中包括50TB的機器數據。它采用了三層平臺戰略,其中第三層平臺就是Hadoop,eBay部署了兩個2萬節點的Hadoop集群,能處理80PB的數據。
數字媒體軟件供應商Adobe公司運用SAP Data Service將Hadoop數據加載到SAP內存數據庫HANA上。
思科首席數據架構師Bhargava帶領他的團隊從事開發Hadoop的工作,一些Hadoop用戶案例已經投入市場,比如集成線下和線上客戶信息。雖然現在Hadoop的規模還很小,但在接下來兩年里,它會呈指數增長。