精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當前位置:大數據業界動態 → 正文

大數據:如何改造傳統數據處理架構?

責任編輯:editor008 |來源:企業網D1Net  2015-02-10 09:47:59 本文摘自:中關村在線

大數據理念和開源生態系統Hadoop的誕生,激活了各行業的思路。IT領域開始采用基于Hadoop的大數據技術框架對視頻文件進行存儲和計算,使得城市各部門的工作人員可以實現對視頻的快速檢索和智能分析。

視頻監控的大數據平臺一般以分布式集群的方式進行建設。分布式集群能夠對數據處理進行負載均衡,同時,也便于未來一段時間進行擴展。而擴展的過程也無需重新部署系統,只需增加集群節點即可提升大數據平臺的整體性能。

視頻監控的大數據平臺采用分布式計算,同時結合內存加速、負載均衡、本地處理,以提供高效的數據分析和挖掘能力。視頻監控大數據處理過程中的存儲則采用了分布式存儲方式,以提高讀寫速度和擴大存儲容量。在數據存儲方面,大數據平臺需要考慮以下3個方面:一是哪些數據需要保存到大數據平臺上;二是如何對原有系統進行改造,原有系統中已存在的數據該如何處理;三是如何保證數據的可靠性。

實踐證明,基于大數據框架改造的傳統視頻處理系統架構能煥發出新的活力。首先,架構更加靈活,伸縮彈性更大。一些城市的中大型項目,由于起點的差異,缺乏視頻監控架構的頂層設計,為后期的擴容升級增大了難度。在建設初期,IT規劃者如果能引入基于大數據的架構,就會為未來的擴張打開通路。

其次,可以以廉價通用的硬件產品應對視頻監控數據的爆發性增長。在面向大數據的架構中,IT規劃者后期可以根據視頻監控業務的部署需要,設立多個HDFS(Hadoop分布式文件系統)集群,采集的流數據會被劃分成段,并分布于各個數據節點上。更為重要的是,這些數據節點可以采用廉價通用型的硬件,由軟件技術保證其高可靠性。這種方式避免采用傳統高端硬件模式,大大降低了大數據平臺的后續運維成本。

最后,可以通過高速并行計算實現智能分析和數據挖掘。對于城市管理者來說,面對海量的視頻監控數據,傳統人工和串行的數據篩選方式已不能滿足搜索和分析要求。基于大數據的架構就是將海量數據分解為較小的更易訪問的批量數據,在多臺服務器上并行分析處理,從而大大加快視頻數據的處理進程。

關鍵字:大數據架構

本文摘自:中關村在線

x 大數據:如何改造傳統數據處理架構? 掃一掃
分享本文到朋友圈
當前位置:大數據業界動態 → 正文

大數據:如何改造傳統數據處理架構?

責任編輯:editor008 |來源:企業網D1Net  2015-02-10 09:47:59 本文摘自:中關村在線

大數據理念和開源生態系統Hadoop的誕生,激活了各行業的思路。IT領域開始采用基于Hadoop的大數據技術框架對視頻文件進行存儲和計算,使得城市各部門的工作人員可以實現對視頻的快速檢索和智能分析。

視頻監控的大數據平臺一般以分布式集群的方式進行建設。分布式集群能夠對數據處理進行負載均衡,同時,也便于未來一段時間進行擴展。而擴展的過程也無需重新部署系統,只需增加集群節點即可提升大數據平臺的整體性能。

視頻監控的大數據平臺采用分布式計算,同時結合內存加速、負載均衡、本地處理,以提供高效的數據分析和挖掘能力。視頻監控大數據處理過程中的存儲則采用了分布式存儲方式,以提高讀寫速度和擴大存儲容量。在數據存儲方面,大數據平臺需要考慮以下3個方面:一是哪些數據需要保存到大數據平臺上;二是如何對原有系統進行改造,原有系統中已存在的數據該如何處理;三是如何保證數據的可靠性。

實踐證明,基于大數據框架改造的傳統視頻處理系統架構能煥發出新的活力。首先,架構更加靈活,伸縮彈性更大。一些城市的中大型項目,由于起點的差異,缺乏視頻監控架構的頂層設計,為后期的擴容升級增大了難度。在建設初期,IT規劃者如果能引入基于大數據的架構,就會為未來的擴張打開通路。

其次,可以以廉價通用的硬件產品應對視頻監控數據的爆發性增長。在面向大數據的架構中,IT規劃者后期可以根據視頻監控業務的部署需要,設立多個HDFS(Hadoop分布式文件系統)集群,采集的流數據會被劃分成段,并分布于各個數據節點上。更為重要的是,這些數據節點可以采用廉價通用型的硬件,由軟件技術保證其高可靠性。這種方式避免采用傳統高端硬件模式,大大降低了大數據平臺的后續運維成本。

最后,可以通過高速并行計算實現智能分析和數據挖掘。對于城市管理者來說,面對海量的視頻監控數據,傳統人工和串行的數據篩選方式已不能滿足搜索和分析要求。基于大數據的架構就是將海量數據分解為較小的更易訪問的批量數據,在多臺服務器上并行分析處理,從而大大加快視頻數據的處理進程。

關鍵字:大數據架構

本文摘自:中關村在線

電子周刊
回到頂部

關于我們聯系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

企業網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 屏东市| 四会市| 鄄城县| 东乡县| 邵武市| 十堰市| 健康| 招远市| 穆棱市| 安图县| 嘉祥县| 常宁市| 琼海市| 邵阳市| 吕梁市| 呼和浩特市| 昭觉县| 六枝特区| 鞍山市| 竹山县| 同仁县| 沈阳市| 沙洋县| 卫辉市| 陵川县| 南投市| 静海县| 永吉县| 白沙| 稻城县| 邵阳市| 仁寿县| 安泽县| 岑巩县| 余庆县| 砀山县| 略阳县| 湾仔区| 外汇| 吉林市| 象山县|