Hortonworks公司的架構師Arun-Murthy在Hadoop峰會上演講
Hadoop將經歷大規模增長。有雄心勃勃的預言稱,到2020年Hadoop將存儲企業接近一半的數據。然而,在布魯塞爾舉行的Hadoop 峰會上,用戶和開發人員都在忙著應用和擴展千變萬化的大數據平臺。
“到2020年,百分之五十的企業數據的將存儲在Hadoop里,”Hortonworks 公司首席執行官Rob Bearden說道。Forrester公司分析師Mike Gualtieri對這個預測補充了一些細節,而英國天然氣公司(British Gas)和JustGiving等用戶解釋了他們是如何使用該系統的。同時,Apache基金會內外的全球Hadoop項目繼續增長。
該平臺的正面新聞很快淹沒了有關Hadoop標準化的爭議。
數據的操作系統
“我將Hadoop看成是數據的操作系統,”Gualtieri說道。 Hortonworks公司架構師 Arun Murthy 解釋道,Hadoop推動了數據存取的的民主化,就像早期頗為流行的計算機操作系統打破計算機使用的壟斷一樣。
Murthy表示:改變數據的角色就是釋放創造力。如果采用個人應用存儲數據,那么用途會比較有限,甚至可能成為“黑數據”,變成存儲起來卻從未使用的數據。相比之下,“數據操作系統在數據普遍存在的世界里具有很大的意義。”
他表示,Gualtieri所稱的“Hadooponomics”使得采用成為必然。 Hadoop集群將實時處理的數據分發到大型存儲池當中,并使用開源經濟學進行擴張,提供了一種廉價和存取速度快的解決方案,以代替非常昂貴且存取速度緩慢的數據倉庫產品。
英國天然氣公司大數據服務負責人Dee Mitra表示,能源電力公司計劃采用Hadoop管理由英國的智能測量項目(smart meter program)產生的大量數據。這些測量項目產生的持續不斷的信息將能夠讓“實時客戶服務”成為可能。
Mitra表示,英國天然氣公司使用Hortonworks公司的Hadoop已經有十八個月時間了,在這個時候,其易用性和生態系統的可靠性將大幅增強。“一年前,英國天然氣公司不得不在Hadoop上做很多工作。現在,這樣的工作已經非常多了。”
同時,在線募捐網站JustGiving首席分析官Mike Bugembe表示:已經搭建了一個有關用戶、公益事業和影響人的平臺“GiveGraph”。
“這不只是向人們展示(公益)事業那么簡單,”Bugembe說道。他指出,人與人之間的關系會影響到他們的捐獻。“我們不能只做粗略分析,我們需要獲得對有影響力的人更為精細的理解。”
該GiveGraph采用了運行在Azure云上且配備有微軟分析軟件HDInsight的Hadoop。Bugembe表示,通過JustGiving,約2200萬人幫助籌集了30億美元。
管理和治理
處理和控制Hadoop集群是另一個主要的主題,同時還要確保它處理數據的方式可以進行跟蹤,以滿足合規的要求。Hadoop存在幾種不同的框架,其中Apache Spark 是正在獲得關注的一個框架。
Hortonworks公司的Janos Matya最近購買了SequenceIQ,展示了這個技術是如何在AWS的云上搭建Hadoop集群,而競爭性產品Cloudera和MapR 則被描述為基于公有云的技術——MAPR覆蓋了所有主要的云服務,Cloudera運行在亞馬遜平臺上。
MapR 還在這次活動上宣布將Hadoop帶入傳統數據倉庫領域的合作消息——這是通過與商務情報提供商Information Builders締結合作協議而實現的。
英文原文鏈接:
http://www.datacenterdynamics.com/it-networks/hadoop-to-hold-half-of-all-enterprise-data/93740.article