精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

易觀國際CTO郭煒:四途徑解決Pb級大數據集群云化遷移難題

責任編輯:editor005

2017-05-04 14:34:18

摘自:中國IDC圈

郭煒總結說,大數據云遷移,包括幾個方面:基礎框架建設、歷史數據遷移、并行數據驗證、產品切換以及業務上面的數據治理幾個部分。

4月25日-26日,企業網D1Net《2017CCS云計算渠道合作高峰論壇》在京舉行,易觀國際CTO郭煒以《Pb 級大數據集群云化與遷移》為主題,分享了其大數據遷移過程中遇到的問題及采用的解決方案。

提升云遷移中數據互傳效率

云遷移通過互聯網互傳的時候,小包傳沒有效率,易觀使用自建的“四分衛”的開源項目有效提高了云遷移的高效數據互傳問題。易觀開源的“四分衛”類似橄欖球的傳球手,運用壓縮算法和排序將每個小包壓縮成一個檔案,通過互聯網傳到兩個接收端,解包后按照排序再進入到Kafka里面,通過排序、互傳同步的機制,保證不丟包。假如發生丟包,也可以續傳,然后再放進Kafka。

四分衛架構

 

解決漏斗查詢難題

對于很多企業來說,從瀏覽網頁到產品下單到支付的轉化率和流失率,對業務發展至關重要。業內將這種場景稱為“漏斗查詢”,在郭煒看來,漏斗查詢的難點在于,需要對一個有序行為序列轉化漏斗。目前市場上大部分的開源引擎都是針對無序OLAP查詢,有序的查詢相對較難。對此,易觀針對該場景給出了解決方案,目前針對百萬日活的APP漏斗查詢都在30秒以內,近期也會開源給大家。

總結

(大數據遷移總結)

郭煒總結說,大數據云遷移,包括幾個方面:基礎框架建設、歷史數據遷移、并行數據驗證、產品切換以及業務上面的數據治理幾個部分。攻克文中的幾個難題,易觀國際PB級歷史數據得到了無縫切換。目前易觀混合云大數據平臺有著4.42億月活量,3000多萬日活,累計裝機量18.2億,在互聯網行業大數據中也處于第一梯隊。

鏈接已復制,快去分享吧

企業網版權所有?2010-2024 京ICP備09108050號-6京公網安備 11010502049343號

  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 自治县| 镶黄旗| 沁阳市| 淮安市| 浦江县| 桃江县| 河东区| 延安市| 淮安市| 吉林省| 沂水县| 柳州市| 林周县| 会理县| 黔江区| 涟水县| 廊坊市| 温泉县| 大余县| 尖扎县| 罗源县| 杭锦旗| 昭觉县| 黎城县| 靖西县| 股票| 宁城县| 电白县| 游戏| 白山市| 娄烦县| 互助| 慈溪市| 新河县| 屯门区| 舒城县| 渝中区| 南投市| 明溪县| 峡江县| 罗山县|