數據庫選型一直是業界最熱議的話題之一。
隨著摩爾定律的失效,以前靠升級硬件實現Scale Up的方式已經不行了。讓數據庫Scale Out變成新的考慮目標。當數據量達到一定量級時,采用分布式數據庫往往是必經之路。
因此,分布式數據庫近年來廣受關注,許多廠商都推出了相應的分布式數據庫產品,并且價格從免費到數百萬不等,選擇多了,選型難度就更大了。
另外,到目前為止,分布式數據庫的選型還沒有一個真正科學并廣泛接受的標準,可以準確評判某個分布式數據庫的好壞。因此,分布式數據庫選型是一個十分具有挑戰并且需要小心的工作。
本調查定位面向金融行業國產分布式數據庫選型及滿意度調查?有2個方面的原因。
其一、分布式,為國產數據庫打開了一個全新的思路,“沿著同樣的路線再造一個Oracle根本不可能,也沒有意義”成為國內數據庫從業者的共識,分布式數據庫被認為是“變道超車”的機會。在這條賽道,中國沒有落后于人,因為中國人口紅利,有著世界絕無僅有的場景支撐。比如:螞蟻集團自己研發的數據庫OceanBase已經能夠支撐住雙11的壓力,并且性能還不錯。美國商務部“拉黑”12家中國企業,再次激發國產替代的預期。
其二、金融行業下一步分布式改造已然成為必然趨勢,2019年中國人民銀行印發《金融科技(FinTech)發展規劃(2019-2021 年)》(銀發〔2019〕209 號)金融科技發展三年規劃中提到的“加強分布式數據庫研發應用”的要求,目前已經接近收關。
因此,用不用分布式數據庫已經不是問題,而是怎么選?怎樣用?如何用好才是迫切需要解決的問題。
那么,在如此眾多的產品中,金融行業企業到底應該如何正確的選擇國產分布式數據庫供應商,如何選擇最適合企業自身的國產分布式數據庫服務,從而讓企業真正實現效率的提升,滿足業務發展的需求,同時節省成本開支。
目前,已經應用國產分布式數據庫的企業滿意度如何?他們是如何應用國產分布式數據庫的?踩過哪些坑?如何規避?國產分布式數據庫在使用過程中,有哪些突出的問題?對于其他即將應用國產分布式數據庫或者使用效果不明顯的企業,有哪些值得借鑒的,國產分布式數據庫供應商還有哪些可以改善的地方?這是我們本期報告所關注的點。
數據說明:2021年5-12月,IT168面向旗下ITPUB、ChinaUnix社區進行調查,調查對象涵蓋CIO/CTO(3%)、技術總經理/總監(8%)、DBA(21%)、架構師(14%)、技術經理(21%)、項目經理(12%)、研發工程師(14%)等,回收問卷1391,其中銀行、保險、證券等金融行業合格問卷476。
為了更加有效地保障金融行業調查數據的有效性,除了問卷調查,我們針對金融企業,又定向地展開了超過200次的電話微信調查,并采訪了近30位金融企業的數據庫領域的技術專家,得出了當前的國內《國產分布式數據庫選型及滿意度調查報告》。特別說明:本次調查,以部署的企業的案例數為主,不看具體的部署節點數。
報告主要結論:
分布式數據庫應用在金融行業是大勢所趨
金融行業分布式數據庫改造更青睞原生分布式架構技術路線
產品選擇和使用上,OceanBase最受歡迎
產品技術及服務能力上,騰訊云TDSQL最受推崇
安全性(可用性、可靠性、穩定性)是金融行業選擇分布式數據庫的首要指標。
目前,分布式數據庫在金融行業的應用場景分析偏多,交易次之。
部署方式私有云與混合云部署將是常態
運維復雜度提升是金融行業在應用分布式數據庫過程中遇到的最突出問題。
國產分布式數據庫用戶滿意度:OceanBase第一
國產分布式數據庫供應商推薦度:PingCAP第一
運維復雜讓金融行業對供應商提供相關數據庫優化軟件有較強訴求
分布式數據庫應用在金融行業是大勢所趨
在調研中,我們首先對金融行業的分布式數據庫應用情況做了調查,從下圖中,我們可以看到,81%的受訪人表示,其所在企業已經、正在或計劃部署分布式數據庫,其中已經部署、正在部署、正在計劃部署的企業分別占比37%、18%、26%,只有19%的企業表示沒有任何計劃。這說明,分布式數據庫在金融行業中的應用是大勢所趨。
調查發現,分布式數據庫在金融行業中的應用之所以是大勢所趨,有兩個大背景,其一,業務驅動,隨著數據井噴,金融行業不僅業務需求升級倒逼架構創新,同時互聯網金融的快速發展對金融系統能力帶來全新挑戰,傳統集中式數據庫已經難以承載,而分布式能很好的解決這一問題。其二、政策指引,《金融科技(FinTech)發展規劃(2019-2021)》中明確指出:“加強分布式數據庫的研發應用。做好分布式數據庫金融應用的長期規劃,加大研發與應用投入力度。有計劃、分步驟穩妥推動分布式數據產品先行先試,形成可借鑒、能推廣的典型案例和解決方案,為分布式數據庫在金融領域的全面應用探明路徑。
分布式數據庫改造更青睞原生分布式架構技術路線
分布式數據庫選型首先面對的是技術路線的選擇,原生分布式架構,重構了數據庫系統,原生支持分布式事務處理與數據切分,在擴展性方面存在天然的優勢,在未來具有更廣闊的發展空間,但目前產品成熟度,仍需時間錘煉。
分庫分表中間件技術相對成熟,但對數據庫的核心能力改造并不多,基本上都沿用了原來單點數據庫的核心能力,最大的優勢是能夠以最小的代價在最短的時間內突破單點數據庫的瓶頸。
企業選擇了一個分布式數據庫產品之后,意味著選擇了未來五年甚至十年的一個技術路線,因此,大多數用戶從長遠角度來看,更愿意選擇原生分布式架構。
調查也證實了這樣的結果,56%的受訪者更傾向于原生分布式技術路線。而傾向于分布式中間件+分庫分表的受訪者也不少,占比44%。(說明:數據僅代表受訪者選擇的傾向性,并不代表當下的應用狀態)
產品選擇和使用上,OceanBase最受歡迎
金融企業對分布式數據庫產品的選擇和使用,毫無疑問是各大廠商爭奪的焦點,對于其他企業也極具參考價值,下圖是一個多選項的調查數據。
特別說明:該項調查,以部署的企業案例數為主,不看具體的部署節點數。對GaussDB的定義并不包含openGauss。
有16.67%的受訪者表示,其所在企業已使用或計劃采用OceanBase,排名第一。2012年OceanBase開始支持支付寶,2014年替換支付寶交易系統,2015年雙十一100%支持交易數據鏈和支付數據鏈,2016年雙十一支付寶的整個核心賬務庫已經運行在OceanBase上,2017年螞蟻集團的所有核心數據鏈全部遷移到OceanBase。今年OceanBase宣布開源,并一次性開放300萬行代碼,都讓OceanBase備受關注。調查顯示,OceanBase具有豐富的金融級內部實踐與商用實踐,商用案例覆蓋國有大行、城商行、農商行、證券及保險行業,其中不乏重度使用案例,目前金融領域TOP200的客戶服務比例高達四分之一。
第二名華為云GaussDB占比15.32%,與第三名騰訊云TDSQL15.21%,差距極微。短期華為云GaussDB受華為整體戰略調整影響,但從長期看,是看好的。而騰訊云TDSQL過去一年在金融行業大力發展,遍地開花勢頭很猛,在TOP 10 銀行中服務比例高達 60%,勁頭十足。
產品技術及服務能力上,騰訊云TDSQL最受推崇
數據庫供應商的產品技術及服務能力,也是金融行業選擇分布式數據庫至關重要的環節。數據顯示,在當前各個分布式數據庫產品的供應商中,騰訊云 TDSQL的產品周邊生態完善程度及服務保障能力,最受金融企業用戶推崇,占比23.4%,目前TDSQL已助力20余家金融機構完成核心替換。
騰訊云TDSQL在產品實施的技術服務方面,建設了完善的產品實施服務、維保服務團隊,有實力保障金融用戶的數據庫產品的實施與日常運營。
另外騰訊云TDSQL提供了比較完整的產品周邊服務工具套件。金融企業選擇使用分布式數據庫產品時,實現高質量與高效的數據遷移,是一項至關重要的任務。
安全性(可用性、可靠性、穩定性)是金融行業選擇分布式數據庫的首要指標
金融是國民經濟的命脈,數據是金融企業最核心的資產,所以,金融行業對分布式數據庫的要求“穩”是第一位的,數據既不能錯也不能丟,同時系統不能停,因為,一旦系統停機會給金融企業帶來無法估量的經濟和名譽損失。因此,金融企業對與“穩” 相關的“可用性、可靠性、穩定性”的要求較為極致。
安全性自然成為分布式數據庫選型的首要指標,占比20%。其次是產品服務能力與價格,占比18%,容災能力占比13%,技術產品領先性,占比10%,可擴展性占比9%。
當前分布式數據庫在金融行業的應用場景分析偏多,交易次之
數據和分析是數字化轉型的關鍵,金融科技以技術創新推動業務創新帶來了更多大數據分析需求,而信創則加速了國產化替代進程,尤其是一些金融企業核心業務分布式改造進程標志著金融級分布式數據庫逐漸走向成熟和穩定。
調查顯示,有36%的分布式數據庫被用于大數據分析,30%用于傳統業務,14%用于互聯網業務,12%用于人工智能場景,其它場景8%。
私有云與混合云部署將是常態
在金融行業,數據庫部署模式不僅與監管要求有關,也與企業規模相關,尤其是頭部企業。目前在金融行業,尤其是核心系統,處于對數據主權及安全考量,大多數還是獨立部署,但隨著基礎層及平臺層的快速云化,上云是必然趨勢。
調查顯示,從云部署模式看,私有云與混合云部署將是常態,其中私有云部署占比46%,混合云部署占比37%,公有云部署只有17%。
運維復雜度提升是金融行業在應用分布式數據庫過程中遇到的最突出問題
相比傳統商業數據庫,分布式數據庫會有更多的節點和組件,更難于管理。
調查顯示,金融行業在使用分布式數據庫過程中,最突出的問題是運維復雜度提升,占比18%,其次是人才儲備不足,占比16%,對原有應用系統升級改造成本較高,占比15%,數據遷移難度大占比14%,兼容性問題,占比11%。
運維復雜讓金融行業對供應商提供相關數據庫優化軟件有較強訴求
相比傳統商業數據庫,分布式數據庫相對較新,金融企業在分布式數據庫方面的自有運維支持能力有待進一步提高。所以,為了降低運維復雜度,金融企業對供應商提供相關圖形化的數據庫優化軟件或工具有較強的訴求。
用戶滿意度:OceanBase第一
具體到供應商滿意度,OceanBase以7.65分滿意度排名第一, PingCAP以7.55分排名第二,華為云GaussDB以7.27排名第三。
通過對選用(或者試用)OceanBase的用戶進一步調查得知,OceanBase相比其它開源數據庫,具備技術領先性的優勢,技術領先性主要在于功能和性能,雙十一和TPC-C打榜是最有力的證明,并且支持MySQL和Oracle、Paxos協議、生態工具等。
安全性,OceanBase滿足行業規范,如支持私有化部署,支持多中心多副本架構滿足容災高可用需求。
服務方面,OceanBase有較為完善的產品服務體系,尤其在某些方面表現突出,多位受訪者表示其解決問題時效比較快。
供應商推薦度:PingCAP第一
在供應商推薦度方面,PingCAP以7.86分排名榜首,騰訊云TDSQL以7.12分排名第二,OceanBase以7分排名第三。
通過對選用(或者試用)TiDB的金融行業用戶的進一步調查得知,TiDB原生分布式架構適用于海量數據規模的OLTP和混合負載業務,對MySQL高度兼容,相較于分庫分表方案,對業務無侵入,在線 DDL 對敏態業務開發友好。TiDB 5.0 版本引入MPP模式,支持函數和算子下推, HTAP引擎可以提供更加強勁的算力,目前已在銀行、證券等金融機構的實時數倉、風控、營銷和數據中臺等場景中得到落地應用。
不過,對于金融用戶而言,之所以更愿意推薦TiDB,就是 TiDB 是一個開源的項目,而且社區很活躍,版本迭代快速。一方面,對于企業用戶而言,企業的技術團隊可以方便地深入到數據庫核心代碼的開發中,有利于對數據庫平臺的后期深度的運營開發維護。另一方面,一旦有疑難問題時,可以向社區求助,通過社區平臺解決問題,從而降低可能產生的服務支持費用。
數據來源:ITPUB & IT168
調研時間:2021年5月-12月
發布時間:2021.12
出品:ITPUB