精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當前位置:大數據業界動態 → 正文

大數據分析引擎Apache Flink升級成為Apache頂級項目

責任編輯:editor005 作者:李士窯 |來源:企業網D1Net  2015-01-19 13:32:26 本文摘自:InfoQ中文站

Apache Flink是一個高效、分布式、基于Java實現的通用大數據分析引擎,它具有分布式 MapReduce一類平臺的高效性、靈活性和擴展性以及并行數據庫查詢優化方案,它支持批量和基于流的數據分析,且提供了基于Java和Scala的API。從Apache官方博客中得知,Flink已于近日升級成為Apache基金會的頂級項目。Flink項目的副總裁對此評論到:

Flink能夠成為基金會的頂級項目,自己感到非常高興。自己認為社區的驅動將是Flink成長的最好保證。Flink逐漸的成長以及眾多新人加入該社區真是一件大好事。

從Flink官網得知,其具有如下主要特征:

1. 快速

Flink利用基于內存的數據流并將迭代處理算法深度集成到了系統的運行時中,這就使得系統能夠以極快的速度來處理數據密集型和迭代任務。

2. 可靠性和擴展性

當服務器內存被耗盡時,Flink也能夠很好的運行,這是因為Flink包含自己的內存管理組件、序列化框架和類型推理引擎。

3. 表現力

利用Java或者Scala語言能夠編寫出漂亮、類型安全和可為核心的代碼,并能夠在集群上運行所寫程序。開發者可以在無需額外處理就使用Java和Scala數據類型

4. 易用性

在無需進行任何配置的情況下,Flink內置的優化器就能夠以最高效的方式在各種環境中執行程序。此外,Flink只需要三個命令就可以運行在Hadoop的新MapReduce框架Yarn上,

5. 完全兼容Hadoop

Flink支持所有的Hadoop所有的輸入/輸出格式和數據類型,這就使得開發者無需做任何修改就能夠利用Flink運行歷史遺留的MapReduce操作

Flink主要包括基于Java和Scala的用于批量和基于流數據分析的API、優化器和具有自定義內存管理功能的分布式運行時等,其主要架構如下:

更多關于Flink的相關信息,請讀者登錄其托管在GitHub的主頁和其官網查看。另外,開源的大數據分析平臺除了Flink外,還包括Apache推出Google Dremel的開源版本Apache Drill(2014年12月份升級成為Apache基金會的頂級項目)、來自NSA(美國國家安全局)Apache Nifi(2014年12月份貢獻給Apache基金會)、來自Cloudera公司開發的實時分析系統Impala(受Google Dremel啟發)、加州伯克利大學AMPLab開發的大數據分析系統Shark 、Facebook開源的分布式SQL查詢引擎Presto、Hortonworks開源的實時且類SQL的即時查詢系統Stinger等等。

關鍵字:FlinkApacheAMPLab

本文摘自:InfoQ中文站

x 大數據分析引擎Apache Flink升級成為Apache頂級項目 掃一掃
分享本文到朋友圈
當前位置:大數據業界動態 → 正文

大數據分析引擎Apache Flink升級成為Apache頂級項目

責任編輯:editor005 作者:李士窯 |來源:企業網D1Net  2015-01-19 13:32:26 本文摘自:InfoQ中文站

Apache Flink是一個高效、分布式、基于Java實現的通用大數據分析引擎,它具有分布式 MapReduce一類平臺的高效性、靈活性和擴展性以及并行數據庫查詢優化方案,它支持批量和基于流的數據分析,且提供了基于Java和Scala的API。從Apache官方博客中得知,Flink已于近日升級成為Apache基金會的頂級項目。Flink項目的副總裁對此評論到:

Flink能夠成為基金會的頂級項目,自己感到非常高興。自己認為社區的驅動將是Flink成長的最好保證。Flink逐漸的成長以及眾多新人加入該社區真是一件大好事。

從Flink官網得知,其具有如下主要特征:

1. 快速

Flink利用基于內存的數據流并將迭代處理算法深度集成到了系統的運行時中,這就使得系統能夠以極快的速度來處理數據密集型和迭代任務。

2. 可靠性和擴展性

當服務器內存被耗盡時,Flink也能夠很好的運行,這是因為Flink包含自己的內存管理組件、序列化框架和類型推理引擎。

3. 表現力

利用Java或者Scala語言能夠編寫出漂亮、類型安全和可為核心的代碼,并能夠在集群上運行所寫程序。開發者可以在無需額外處理就使用Java和Scala數據類型

4. 易用性

在無需進行任何配置的情況下,Flink內置的優化器就能夠以最高效的方式在各種環境中執行程序。此外,Flink只需要三個命令就可以運行在Hadoop的新MapReduce框架Yarn上,

5. 完全兼容Hadoop

Flink支持所有的Hadoop所有的輸入/輸出格式和數據類型,這就使得開發者無需做任何修改就能夠利用Flink運行歷史遺留的MapReduce操作

Flink主要包括基于Java和Scala的用于批量和基于流數據分析的API、優化器和具有自定義內存管理功能的分布式運行時等,其主要架構如下:

更多關于Flink的相關信息,請讀者登錄其托管在GitHub的主頁和其官網查看。另外,開源的大數據分析平臺除了Flink外,還包括Apache推出Google Dremel的開源版本Apache Drill(2014年12月份升級成為Apache基金會的頂級項目)、來自NSA(美國國家安全局)Apache Nifi(2014年12月份貢獻給Apache基金會)、來自Cloudera公司開發的實時分析系統Impala(受Google Dremel啟發)、加州伯克利大學AMPLab開發的大數據分析系統Shark 、Facebook開源的分布式SQL查詢引擎Presto、Hortonworks開源的實時且類SQL的即時查詢系統Stinger等等。

關鍵字:FlinkApacheAMPLab

本文摘自:InfoQ中文站

電子周刊
回到頂部

關于我們聯系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

企業網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 青海省| 青州市| 西丰县| 金川县| 平阳县| 昭觉县| 武功县| 武平县| 东安县| 吉木萨尔县| 房山区| 临沧市| 明水县| 河北省| 佛山市| 长春市| 边坝县| 云和县| 霍州市| 新邵县| 清徐县| 永丰县| 岫岩| 阿克陶县| 甘洛县| 马尔康县| 衡山县| 新建县| 大城县| 和顺县| 高台县| 云阳县| 南宁市| 丰县| 图木舒克市| 珠海市| 乳山市| 伊吾县| 长治市| 涟水县| 富阳市|