4月25日-26日,企業網D1Net《2017CCS云計算渠道合作高峰論壇》在京舉行,易觀國際CTO郭煒以《Pb 級大數據集群云化與遷移》為主題,分享了其大數據遷移過程中遇到的問題及采用的解決方案。
提升云遷移中數據互傳效率
云遷移通過互聯網互傳的時候,小包傳沒有效率,易觀使用自建的“四分衛”的開源項目有效提高了云遷移的高效數據互傳問題。易觀開源的“四分衛”類似橄欖球的傳球手,運用壓縮算法和排序將每個小包壓縮成一個檔案,通過互聯網傳到兩個接收端,解包后按照排序再進入到Kafka里面,通過排序、互傳同步的機制,保證不丟包。假如發生丟包,也可以續傳,然后再放進Kafka。
解決漏斗查詢難題
對于很多企業來說,從瀏覽網頁到產品下單到支付的轉化率和流失率,對業務發展至關重要。業內將這種場景稱為“漏斗查詢”,在郭煒看來,漏斗查詢的難點在于,需要對一個有序行為序列轉化漏斗。目前市場上大部分的開源引擎都是針對無序OLAP查詢,有序的查詢相對較難。對此,易觀針對該場景給出了解決方案,目前針對百萬日活的APP漏斗查詢都在30秒以內,近期也會開源給大家。
(大數據遷移總結)
郭煒總結說,大數據云遷移,包括幾個方面:基礎框架建設、歷史數據遷移、并行數據驗證、產品切換以及業務上面的數據治理幾個部分。攻克文中的幾個難題,易觀國際PB級歷史數據得到了無縫切換。目前易觀混合云大數據平臺有著4.42億月活量,3000多萬日活,累計裝機量18.2億,在互聯網行業大數據中也處于第一梯隊。