2022年12月14日~16日,由IT168聯合旗下ITPUB、ChinaUnix兩大技術社區主辦的第13屆中國數據庫技術大會(DTCC2022)在線上隆重召開。大會以“數據智能 價值創新”為主題,設置2大主會場,20+技術專場,超百位行業專家,為廣大數據領域從業人士提供了一場年度的饕餮盛宴。
正如ITPUB總經理、中國數據庫技術大會創辦人唐川所說,從2010年開始到目前為止,DTCC中國數據庫技術大會可謂是見證了數據庫技術的發展與變革。ITPUB社區也走過了二十二個年頭,伴隨著多少技術人一起走過青春年華。近12年來,國內數據庫市場不斷有新的廠商涌現,而本次數據庫技術大會更是匯集了華為、騰訊、阿里、達夢、亞馬遜等國內外主流的數據庫廠商,可謂是百花齊放。
如今的DTCC已然成為國內數據庫領域的技術風向標,今年云原生數據庫、分布式數據庫是行業重點發展趨勢,金融業的數據庫探索實踐更是引發廣泛討論和關注。本次大會設置了金融行業數據庫技術實踐、云原生數據庫開發與實踐、分布式數據庫應用最佳實踐、圖數據庫技術與應用創新等專場,分享數據庫最前沿的技術動態和探索實踐。
金融業數據庫升級提速
在主會場,渤海銀行生產運行中心副主任、首席數據庫專家王飛鵬帶來“商業銀行核心數據庫從集中式到分布式架構轉型最佳實踐”的主題演講,介紹了商業銀行數據庫架構演進趨勢,王飛鵬指出,金融科技的本質是利用信息科技為金融發展全面賦能。在金融科技潮流之下,數據庫做為商業銀行承載業務數據的核心,其在選型規劃中務必堅持戰略思維,要從根本性、全局性、長遠性的問題進行科學謀劃,具體來說,穩定優先,數據庫架構要首先滿足銀行對系統可用性、數據一致性、系統安全性等核心要求;隨著銀行對業務快速創新的要求日益迫切,數據庫系統應支撐業務快速上線投產;還要滿足自主可控要求,數據庫架構要從傳統商業封閉式向開源、開放、自主可控的架構轉型;隨著銀行交易量和數據量的爆發式增長,數據庫架構從集中式向分布式轉型已成為必然趨勢;還有降本增效,銀行經營環境的變化,要求運行數據庫的基礎設施從昂貴的IBM小型機向PC服務器、從EMC集中式存儲向本地盤等低成本設施轉型。
王飛鵬介紹,銀行引入分布式數據庫面臨著選型、開發、遷移、運維四個方面的挑戰。選型方面,目前分布式數據庫在國內取得快速發展,初步具備對國外數據庫的替換能力,但也面臨各廠商能力參差不齊的問題,需要對分布式數據庫進行選型,選擇最合適的產品;開發方面,對行內的應用開發人員而言,大家習慣使用Oracle等數據庫,應用都是基于Oracle進行開發,遷移到分布式數據庫面臨代碼的應用和遷移問題;遷移方面,把一些系統從集中式遷移到分布式技術棧,存在比較多的工作和風險;運維方面,不同信創數據庫的實際功能、高可用能力、可擴展能力和災備能力存在差異,為在生產運維環境做好數據庫運維提出了挑戰。分布式數據庫產品的成熟度、穩定性還需要經過真實生產環境的打磨,才能真正穩定。
武漢達夢數據庫股份有限公司技術總監黃海明指出,當前外部形勢非常動蕩,金融數據庫的安全風險和供應鏈風險值得關注。當前時間緊、任務重,金融數據庫國產化轉型的關鍵因素在于解決工程化難題,要以工程化方式快速、大批量替代海外數據庫,需要考慮風險、效率和成本等多方面因素。達夢的解決方案可以在架構層面實現同等替代,可以最大程度上降低替代的風險,保護用戶既有投資。
創新是國產數據庫發展的唯一出路
達夢數據技術(江蘇)有限公司總經理付新指出,當下,數據庫甚至整個軟件領域最流行的兩個技術架構相關的關鍵詞是分布式和云原生。此外,可以看到數據庫技術發展的重要趨勢是融合,從不同的角度都可以看到融合趨勢。在軟件和硬件一體化方面,當下國內數據庫一體機的熱度開始增加,特別是基于國產軟硬件平臺的數據庫一體機非常契合當下黨政、央企等用戶的需要。此外還有多模數據庫、HTAP、湖倉一體、流批一體等數據技術融合發展。在融合之外,數據庫技術還向著專精特新的細分方向發展。
付新強調,數據庫技術發展的最終目標是持續不斷降低運維成本、降低運行成本,最終降低用戶的數據庫總體擁有成本。對于未來國產數據庫的發展,達夢認為創新才是國產數據庫發展的唯一出路,自主創新是達夢公司堅定不移的技術發展路線。創新離不開人才、技術、資本和需求四大要素,而中國已經具備了所有的基礎條件。
云數據庫加速融合發展
騰訊云數據庫總經理王義成帶來了題為“騰訊云數據庫賦能企業釋放數據生產力”的主題演講,王義成指出,云數據庫的發展經歷了三個發展階段,云數據庫1.0,是云數據庫發展初期,特征是原生數據庫的平臺化和自動化。云數據庫2.0,是云原生數據庫+國產化數據庫多樣化發展。云數據庫3.0,即下一代數據庫的核心趨勢是自研+融合一體化輸出。騰訊云數據庫堅持自研和融合兩個戰略。其中,融合分為產品能力融合和生態融合,產品能力融合包括HTAP、軟件硬件等融合,產業融合則要做到產業上下游體系真正地融合。
華為云計算技術有限公司華為云數據庫服務產品部總經理蘇光牛指出,數據庫的發展需要自主創新,就像攀登珠穆朗瑪峰時,一種是從北坡攀登,一種是從南坡攀登,數據庫技術需要迎難而上,克服最核心的技術來攀上珠峰。蘇光牛指出,從數據庫角度來說,分布式和云基礎能力的結合將是數據庫市場的未來。他表示,在技術實踐上,在面向金融政企的國產分布式數據領域,GaussDB在高可靠、安全、性能方面進行多項新特性發布,全面超越國外主流數據庫產品;在面向互聯網的云原生領域,云原生數據庫完成三大轉變,實現Serverless、Regionless、Modeless的全新架構演進。
阿里巴巴集團副總裁、阿里云數據庫產品事業部負責人李飛飛在“PolarDB向云原生一體化的演進和發展”的主題演講中表示,PolarDB向云原生一體化方向快速演進,提供企業級云原生數據處理能力,例如serverless、共享內存、多租戶多寫、分布式等,針對海量數據提供實時融合分析與計算的云原生HTAP能力以及結合ADB提供一體化HTAP能力。
阿里云認為數據庫將向云原生一站式數據管理與服務縱深發展,并提出云原生化、平臺化、一體化、智能化“四化”趨勢,其中云原生化中最關鍵的能力是serverless。未來,云原生要持續做強,基于資源池化、資源解耦、微服務化、容器化等構建下一代原生數據庫。隨著物理世界數字化、生物世界數字化,如何更好支持多模態數據也將面臨挑戰。接下來三到五年,數據庫市場需要關注云原生、多模、智能化、集中分布式一體化,以及軟硬結合創新,未來有競爭力的數據庫系統一定是和云基礎設施、云平臺深度融合,做軟硬協同平臺化創新。未來數據庫需要提升數據的可信與安全,最終實現搭積木式的高性能、低成本、多場景一站式能力。
分布式數據庫大有可為
OceanBase首席架構師楊志豐在“OceanBase 4.0:單機分布式一體化的技術演進”的主題演講中表示,從2014年OceanBase 0.5版本開始,經過多年多版本的更新,OceanBase逐漸演進的越來越成熟,并在TPC-C國際權威的OLTP評測中表現突出,具有很好的擴展性。OceanBase 4.0作為單機分布式一體化數據庫,實現了單機部署并兼顧分布式架構的擴展性與集中式架構的性能優勢,不僅突破了分布式數據庫單機性能的瓶頸,還實現了單機性能趕超集中式數據庫的跨越,可以更好支持不同規模的企業應用。
金篆信科副總經理秦延濤介紹了中興通訊專為拓展分布式數據庫產業而成立的控股子公司——金篆信科,分享了GoldenDB的發展歷程、v7.0技術優勢等。GoldenDB在金融、運營商等行業積累了大量的數據庫遷移實踐經驗,秦延濤介紹,在系統遷移過程中,除了需要做數據全量遷移、增量遷移比對以外,一般推薦客戶做回流方案,即設計逃生通道,當老系統遷移到新系統以后,GoldenDB支持數據回流到老系統數據庫,如果新系統里出現異常,可以返回到原來的老系統里,確保業務不受影響,為客戶增強遷移的信心,此外,從集中式系統遷移到分布式架構,需要一個好的運維管控平臺,需要一套完善的運維體系來做支撐,確保運維團隊快速了解系統運行狀態。
圖數據庫的未來在于生態發展
在圖數據技術與應用創新專場,來自字節跳動、螞蟻集團、等方面的專家重點介紹了圖數據庫技術的前沿發展與創新應用。去年的圖數據庫專場,大家談論比較多的技術細節,比如萬億大圖的點切以及邊切等,今年談論更多的是圖數據庫的應用以及生態建設等。
字節跳動研發工程師陳超帶來了“字節跳動圖數據架構演進——索引和執行優化”的主題演講,聚焦于圖數據庫中的索引加速和執行優化,分享 ByteGraph 在性能優化方面的一些進展。ByteGraph是字節跳動自研的分布式圖數據庫存儲系統,采用計算存儲分離架構,支持有效圖模型,支持Gremlin圖查詢語言,讀寫吞吐可以擴展到千萬QPS,目前ByteGraph已經部署了1000多個集群,遍布全球多個機房,支持頭條、抖音、西瓜視頻、電商風控圖譜等多個業務。在社交網絡中,圖計算系統會存在超級節點問題,例如抖音中網紅大V會有千萬或者上億粉絲,超級節點會影響單機的可用性,針對超級節點,ByteGraph會對每條查詢分為輕查詢和重查詢兩類,同時會把單機資源劃分到新查詢池和重查詢池,查詢時將對應類別查詢,通過這種方式,限制重查詢使用的資源量,避免少量重查詢打滿單機CPU,后續ByteGraph也會持續優化自適應限流機制。針對超級節點,除了限流,還會做一些自適應局部索引,在系統內部會衡量識別查詢代價和構建索引后的執行代價。
螞蟻集團圖數據庫負責人洪春濤帶來了“螞蟻高性能圖數據庫TuGraph-DB技術思考及實踐”的主題演講,關聯數據爆炸性增長對圖計算高效處理提出迫切需求,圖計算利用圖形結構描述事物聯系,成為分析復雜關系數據的重要使能技術。螞蟻集團聯合清華大學研發了大規模圖計算系統TuGraph。TuGraph圖計算系統由圖數據庫TuGraph-DB,流式圖計算系統TuGraph-DataFlow,離線圖計算系統TuGraph-Compute等多個子系統構成。其中TuGraph-DB是一個高性能分布式圖數據庫,它歷經螞蟻萬億級業務的實際場景錘煉,已經成熟應用于金融風控、搜索推薦、設備管理等內外部場景。
洪春濤指出,圖計算是一種很通用的、更高層次的抽象計算方法,上個世紀70年代末80年代初其實就已經有圖數據庫概念,后來關系型數據庫得以快速發展,而圖數據庫沒有那么快發展起來,主要原因在于彼時計算機還沒有那么強大,關系數據庫這種二維表的表達對計算機會更友好,而現在多跳查詢等復雜關系的查詢,SQL會有挑戰,圖計算在多跳查詢等方面會有很大的優勢。洪春濤認為目前圖計算系統的發展還處于一個比較早期的階段,未來走向普及還有很多工作要做,包括易用性、性能和成本以及標準化等問題。圖計算系統的發展最重要的是生態,需要有更多的用戶、更多的場景來應用,才能不斷推動圖計算系統的發展。
第十三屆中國數據庫技術大會(DTCC2022)獲得了圓滿成功,有太多的不易,有太多需要感謝,有太多值得被記錄。一點一滴,創新永無止境,眾志成城,未來必將行遠。中國數據庫技術發展的新歷史正在被書寫,創新是國產數據庫的唯一出路,未來的輝煌需要每一個數據庫從業者共同去創造。我們有幸是時代的見證者,我們有幸是時代的參與者,在這個數據庫的好時代,我們滿懷熱情,腳踏實地。我們期待下一次相遇,因為每一次相遇都會有前進的歡喜。DTCC2023,第十四屆中國數據庫技術大會,不見不散!