從技術上看，大數據業務由于數據體量大，且數據量很多時候呈急速膨脹狀態；在進行大數據計算分析時，對資源的需求呈現浪涌式特征，又偶有突發性，因此通過上云充分發揮資源按需使用按需付費的優勢，成為了不少企業在探索大數據應用時的常見模式。
這其中，企業在綜合考量數據安全性、可擴展、可管理和成本效益等因素后，混合云部署的方式就成為了企業的主流選擇。
近日，騰訊云存儲高級產品經理賀永紅在混合云主題論壇上發表演講，詳解了大數據應用上云的新思路。
一、企業自建大數據的難點
企業數據中心自建大數據業務，一般會遇到擴容的問題，隨著大數據分析在業務價值挖掘上的作用愈加重要，新增及突發的分析任務越來越多，此時，趨于飽和使用率的硬件資源便會成為瓶頸，從提交預算申領設備到新設備加入分析集群通常需要較長時間(有時會超過一個月)，這樣會也導致大數據計算結果延期交付。隨著時間推移，大數據中存儲的數據越來越多，如何降低數據的存儲成本，在需要的時候又能快速分析。
二、大數據混合云存儲之道
大數據混合云存儲將IDC大數據和公有云大數據連接為混合云，通過存算分離（計算與存儲分離），實現計算彈性伸縮；通過數據全生命周期自動沉降實現存儲低成本。
三、大數據混合云存儲中的關鍵技術
1. 存算分離
存算分離，計算與存儲分離，計算基于標準HDFS協議訪問存儲，計算資源和存儲資源各自按需擴容；計算資源可以分鐘級按需創建及銷毀，數據存儲在COS（Cloud Object Storage）「https://cloud.tencent.com/product/cos」統一存儲層，集中存儲、統一管理。
存算分離，讓數據存儲在云中對象存儲COS上，計算集群直接分析COS中的數據，計算資源專注于計算，按需實現彈性伸縮，按需創建及銷毀，不用維持冗余設備來保存數據；通過計算與存儲分離，實現計算彈性伸縮，按需創建及銷毀，可以節約大數據20-30%的成本。
2. 高效存儲
存儲資源COS（Cloud Object Storage）海量、無容量上限、無需擴容、按需供給，高效、平滑接入大數據生態、按需使用付費、通過生命周期策略自動沉降極致降低成本。
COS中存儲類型分為標準存儲、低頻存儲和歸檔存儲，通過配置數據全生命周期策略實現自動沉降：經常訪問的數據放在標準存儲，較少訪問的數據放在低頻存儲，基本不訪問的數據放在歸檔存儲，以上三種存儲類型，價格不同，例如歸檔存儲刊例價就不到標準存儲刊例價的1/3，數據自動沉降后成本節約20-30%。數據沉降歸檔后，能及時回熱，需要用的時候能及時被計算集群訪問。
3. 統一管理
云上云下的統一管理，一致使用體驗；在數據面云上COS與IDC中HDFS統一元數據管理，實現全量數據ETL(抽取、轉換、裝載)。在技術面，云上和云下均采用大數據開源組件，接入大數據開源生態，保持一致使用體驗。
4. 數據高效流動
云下與云上的數據流動，這里主要包括兩種數據流動。
其一、數據在IDC與云上COS間快速水平流動；用戶每天可往云上COS灌入200TB+數據，基于COS海量并發設計，可進一步加粗上傳管道，加速數據上云。數據下云，一般是結算結果返回到用戶IDC，這部分數據量比較小，是從海量沙子里掏出的金子，不存在技術挑戰。
其二、數據在EMR「https://cloud.tencent.com/product/emr」計算與COS存儲間快速垂直流動，在EMR進行大數據計算時，需要在瞬間從COS中讀取大量數據到EMR中進行計算，關鍵技術是COS的高性能，來滿足數據的快速讀寫。
四、騰訊云大數據混合云存儲實踐
騰訊云大數據混合云存儲方案，經歷騰訊內部業務（微信、QQ、騰訊視頻等）長期打磨而沉淀下來。
騰訊云大數據混合云存儲，包括三層：混合大數據引擎、任務統一編排、數據開發平臺：數據開發平臺實現數據價值開發，包括用戶畫像、廣告推薦等；任務統一編排實現大數據任務在IDC及云中全局調度及計算彈性伸縮；混合大數據引擎對IDC及云中大數據進行管理。
某頭部游戲直播公司，大數據體量大，很早就成立了近百人的專業大數據團隊，以支撐近百P規模的離線、實時流式數據的高效存儲計算及數據科學探索。
其大數據架構如圖，左邊本地IDC，右邊騰訊云 EMR ON COS，通過專線打通，數據互通，優先上傳分析用到的數據，將數據導入到騰訊云COS中；基于存算分離，通過騰訊云EMR產品創建的Hadoop集群分析已導入到COS中數據。分析任務結束后，銷毀EMR集群，不再產生費用，COS數據自動沉降進一步降低成本。
五、結語
騰訊云大數據混合云，能夠實現大數據業務平滑上云，并實現對已有IDC硬件資源的合理利用，實現業務彈性伸縮，實現存儲資源和計算資源的高效利用。
未來，騰訊云存儲還將以業務場景為指引，推出更多高效的云存儲方案，并結合生態資源，為用戶提供更好的云上存儲服務。
京公網安備 11010502049343號