7月6日,2018 ArchSummit 全球架構師峰會在深圳拉開序幕。這場邀請了百余位國內外技術專家作演講嘉賓的技術會議,向來自各行各業的高端技術管理者、架構師展示了先進技術在行業中的最佳實踐,以及技術在企業轉型發展中的推動作用。
華為云技術專家講解基于云場景架構設計的分布式數據庫
在云時代,企業 IT 業務走向跨地區、全球化部署,IT 應用軟件逐漸云化、分布式化。數據庫作為承載企業業務和應用的重心,具備跨地區分布式部署能力的需求日益凸顯。也因此,華為云技術專家帶來的主題演講《基于云場景架構設計的分布式數據庫》廣受好評。
一切都會運行在云端,好的架構是包容所有好技術的重要前提。本次演講不但總結了傳統數據庫上云或云服務化中遇到的問題,而且深入介紹了華為云原生分布式數據庫的技術原理和最佳實踐,與眾多參會者共同探討了云數據庫在新時期的使用和發展方向。
傳統架構下的“數據孤島”
傳統數據庫架構源于 30 多年前的硬件設計,硬件上使用單處理器、小內存、慢速磁盤,技術上采用雙機熱備提供高可用(HA)。這意味著主庫完成所有操作,傳送日志到從庫后,從庫才重放日志更新本地數據副本。因此,數據庫發生主庫宕機、需要主備切換時系統依賴第三方仲裁。且主備實例間僅交互日志,這對于新型的互聯網業務和高并發場景而言,嚴重制約了數據可用性和可靠性。
傳統數據庫架構
當前,中國有 70% 新型企業的業務因數據挑戰而受影響,其面臨的主要問題包括了高成本和低效率。受數據“大爆炸”影響,新型企業的數據像孤島一樣散落分隔在各處,數據備份、數據挖掘和問題排查需要大量資源。企業負擔不起商業 license 和專業工程師高昂的費用,因此存儲、轉移、分析并使用這些數據非常困難。
在此背景下,高可用、易用易維、高擴展、高性能、與大數據相輔相成的云數據庫,尤其是基于云場景架構設計的云原生分布式數據庫,成為企業上云最佳選擇。其中計算與存儲分離、能充分發揮最新硬件性能、利用 AI 和 ML(深度學習) 等功能成發展趨勢。
Gartner 報告顯示,到2019年,90% 的云數據庫架構采用計算與存儲分離, 剩下10%沒有分離的,也會被市場逐步淘汰。此外, NUMA 架構的多核 CPU、Optane SSDs 存儲、RDMA 網絡、GPU/ FPGA 專有硬件等最新硬件的性能也能被新架構下的云數據庫吸收,并結合人工智能和深度學習加快自身進化。
云原生分布式數據庫技術原理
值得一提的是,華為云得益于 30 多年的技術積累,已經完成新一代的云原生數據庫服務進化。以華為云推出的高性能云原生分布式數據庫為例,其設計正是基于新硬件性能,圍繞解耦、近數據計算下推(NDP)、引入 AI 和 ML 等功能特性展開。
華為云原生分布式數據庫架構
華為云原生分布式數據庫將實現計算與存儲分離、主從解耦;將IO 密集型負載下推到存儲節點完成,比如 redo 處理,頁重構;多租戶支持;引入 AI 和 ML 打造自治系統自擴展、自調優等功能。
華為云原生分布式數據庫還充分利用云存儲的能力,實現存儲層獨立容錯和自愈服務、單寫多讀的共享訪問。發揮 SSD 優勢,充分利用 SSD 的隨機讀性能,避免隨機寫帶來的寫放大,減少磨損,減小時延。并采用 RDMA 等新網絡技術和硬件,讓網絡不再是瓶頸,從而使整體性能得到很大提升。
此外,華為云原生分布式數據庫還擁有即開即用、彈性伸縮、輕松管理、經濟實用等特點,可以讓用戶不用關心底層架構和基礎運維,只專注業務發展。這與發展云計算技術最主要的目的不謀而合。
在中國通信院對已經使用和有計劃使用云計算技術的企業調查中,67.81% 的公司認為縮短應用部署時間是應用云計算最重要目的,62.56% 的公司認為節約成本是應用云計算技術最重要目的。
數據來源:中國信息通信研究院
如名人們所言:有價值的東西只有對懂得的人才有意義,而一樣東西的價值,在于是否需要它。如果有人想問華為云原生分布式數據庫能給用戶帶來什么,那么云計算水龍頭觀點論剛好可以回答這個問題。當你需要的時候,只需扭開水龍頭,水就來了。你只需要交點水費,但不需要建個水廠!