數據更是金融業最重要的核心資產之一，然而，在底層數據庫平臺上，此前金融行業長久以來對國外產品依賴度較高。近年來，隨著華為GaussDB、螞蟻金服Oceanbase以及SequoiaDB巨杉數據庫等國產自研產品的不斷走向成熟和規模應用，金融行業在數據庫方面也迎來了新的轉型期。正如巨杉數據庫聯合創始人兼CTO王濤所言，“金融行業迎來新的分布式數據庫轉型期。”
巨杉數據庫聯合創始人兼CTO王濤
三大問題驅動數據庫技術發展
“回顧數據庫的發展歷程，主要圍繞解決數據量、成本、系統架構這三大核心問題。”王濤表示：“ 隨著互聯網的發展，企業需要保存的數據也越來越多。過去我們硬件單位成本和計算成本都非常高，一臺大型主機采購成本動輒幾千萬，即使小型機也要幾百萬。而現在幾十萬的服務器磁盤空間就能達到上百TB，服務器的成本降低使分布式數據庫更便于普及。”
“從系統架構來看，隨者企業不同應用的增多，數據量的激增，也反過來促進了企業從傳統單點架構向分布式架構進行轉型。大數據理念帶來的數據共享、數據融合理念結合互聯網企業使用的敏捷開發會造成整個數據庫上層應用需要進行重新解耦。原來只需要一個數據庫就能滿足現在則需要用十來個甚至幾十個小的數據庫才能滿足。這使得數據庫的應用開發以及數據庫運維理念產生了翻天覆地的變化。現在一個企業就可能使用三四百個數據庫甚至三四千個數據庫。”
“此外，針對如今行業推崇的‘微服務’架構，需要針對應用、平臺進行更細粒度的管理，單點式的數據庫在服務微服務應用是必定會存在諸多問題。因此，分布式數據庫，實例化、云化的管理能力，才能更好的的支撐新一代云化架構下的微服務應用。”
在解決了成本、架構、數據量的基礎問題后，分布式數據庫才能唄大規模應用接納和使用。
兩大維度六個特性幫你選擇下一代分布式數據庫
解決數據庫發展的三個大問題，針對金融級的交易應用，對分布式數據庫提出了更嚴苛的挑戰。
金融機構其關鍵的業務是交易型業務。“因此用戶在選擇交易型分布數據庫主要考慮兩大維度，首先是對傳統技術的兼容性，另外就是在最新技術的前瞻性。通過六大技術特性體現這兩個維度，來幫助用戶選出靠譜的下一代分布式數據庫。“王濤這樣表示。
第一是ACID。它是指Atomic(原子性)、Consistency(一致性)、Isolation(隔離性)、Durability(持久性)這是做數據庫的最基本要求，這樣才能保證一個提交不會失敗。
第二是對SQL完整支持。要與傳統技術兼容，需要兼容MySQL甚至Oracle、DB2，要盡量做到讓客戶少改或不更改代碼。
第三安全性。確保當硬件或者數據中心宕機的時候對數據不會造成影響。
從技術前瞻性出發，第一點要求就是分布式與靈活擴展。王濤認為，未來5G到來之后，面臨的數據量的變化是巨大的。
在數據量的吞吐量方面，目前可能我們每秒有幾萬的交易量，在5G之后，可能會達到每秒有幾十萬交易量，包括對非結構化的數據的支持。現在能在10臺機器里部署分布式數據庫，需要把這種架構和企業的私有云進行整合。讓他們數據實現真正意義上的彈性擴展，當用戶的數據量增長之后，不需要用戶自己干預，自動地進行擴充，而不僅是擴充數據庫某個實例。
創新的第二點是HTAP(混合事務分析處理能力)，它要求數據庫能夠混合支持OLTP 和 OLAP 業務同時處理的能力。HTAP的出現打破事務處理和分析之間的邊界。支持更多的信息和“實時業務”的決策。以銀行用戶為例，應用新一代數據庫，剛開始只做查詢或交易，后來發現有不斷有分析或者小的報表業務需求的接入，因此分布式數據庫能夠支持OLTP 和 OLAP兩種業務就成為一種提升平臺能力的必然需求。
此外，面對AI運算更偏重于數據計算，數據庫的本質偏重于存儲，通過類似HTAP的理念，也可以很好的將數據應用于特定的AI應用領域，這塊巨杉的一些探索未來也會找機會分享給大家。
第三，支持云與多租戶。傳統數據庫應用與數據庫基本是一對一映射，但現在分布式數據庫面對的是大規模集群，上層面的應用不是一個應用而是成百上千個不同的應用，每個應用有不同業務場景和需求，物理層面需要隔離，當面對一些應用壓力非常大的時候，還要能保證其他高頻次和交易型應用不受干擾，這也分布式數據庫需要滿足的場景。
金融業核心數據庫自研升級之路
巨杉數據庫目前大型銀行客戶已經突破50家，金融生產環境最大的單集群超過2PB存儲量，銀行用戶最大單集群達到141臺物理服務器，單集群超過5440億條記錄存儲。其中，應用場景也包括了眾多的金融級交易業務。
巨杉數據庫產品已經走過了8年的自研歷程，作為國內分布式數據庫領域最早的“開路先鋒”，在王濤看來，堅持自研才能保證產品和技術長期持續性地健康發展。
自研絕不是“喊口號”，而是從技術和商業角度出發，基礎軟件的唯一選擇。
“從技術角度來說，自研代表著完全自主掌控產品代碼和產品的發展路線，只有這樣才不會受制于人。同時，自研能保證技術產品的持續生命力，在快速應對客戶需求的同時也保證產品化。最后，自研的技術閉環流程要求一個成熟的產品不斷地在金融級應用中實踐歷練，獲取市場反饋的同時不斷積累經驗、完善細節，實現持續地技術創新和產品化。”
巨杉數據庫的架構設計主要采用的計算存儲分離的架構，兩層分別展開來看，所有節點都是完全分布式的，可以進行橫向的彈性擴展。王濤介紹，第一層是數據庫的實例層，把整個集群對外體現為一個個的不同的數據庫實例，比如MySQL實例、PG實例，甚至還有非結構化實例，對于已有的大部分應用可以說做到極低的遷移成本。在存儲引擎方面，巨杉數據庫的數據存儲、事務交易放在存儲層，這層叫做分布式存儲層。巨杉數據庫引擎完整支持分布式事務、強一致、多副本高可用，可以完全滿足分布式核心交易業務需求;采用原生分布式架構，PB 級數據彈性擴展。
在今年的數據技術嘉年華大會上，巨杉正式發布的SequoiaDB巨杉數據庫 v3.4版本。SequoiaDB v3.4針對分布式交易業務的性能大幅提升。對比上一版，在分布式交易場景，讀寫性能提升達30%，更新性能提升1倍-1.5倍，查詢性能較v3.2提升1.5倍以上。
此外，新版本實現了實現多層級內存池和無鎖內存模型、數據庫集群池化內存資源，內存池多級管理，會話訪問實現 99.99% 內存訪問命中率，實現高并發 OLTP 場景下內存的無鎖訪問，SequoiaDB v3.4同時提供在線內存監控和離線內存分析能力，自動化生成內存分析報告。 并且推出了多種性能診斷工具，幫助用戶大幅減低運維成本。
京公網安備 11010502049343號