伴隨著數字化轉型的深入推進,產業對數據化的需求發生了革命性的變化。而開源對數據庫的影響也在不斷增強,已經覆蓋軟件開發的全域場景。
9 月 22 日,中國工程院倪光南院士在企業級開源分布式數據庫廠商 PingCAP 用戶峰會上的致辭中提到:“全球開源數據庫已經超過商用數據庫,占比達到 52%。全球最受歡迎的前 10 名數據庫中有 6 個是開源數據庫。同時,分布式、云計算、大數據正在重塑數據庫的市場格局,2021 年全球云數據庫市場份額已超過傳統部署模式的數據庫,標志著云數據庫取代傳統數據庫地位的趨勢已經確立。”
開源模式以及分而治之的開放式架構備受用戶認可
認識 PingCAP 是在 4-5 年前,彼時筆者就關注到了開源數據庫領域,對 PingCAP 聯合創始人兼 CTO 黃東旭進行了一期專訪。如今時隔多年,來到 PingCAP 用戶峰會,筆者最大的感受就是這家開源分布式數據庫廠商對用戶需求的洞察已非常深入,相信貼近用戶這一點也是其能夠快速成長的重要原因之一。
仍記得企業網 D1Net 在對某位金融行業 CIO 進行專訪時曾聊到過 PingCAP,那位 CIO 對 PingCAP 贊賞有加,他當時提到:“在交流的過程中 PingCAP 告訴我 TiDB 社區版就能滿足我們企業的需求,讓我用社區版就好,是免費的,有問題可以向他們反饋。這是第一家真心幫助用戶解決需求問題卻不要求我付費的廠商,給我留下了非常好的印象。即使接下來公司業務發展需要用到商業版,我也非常樂意付費。”這位 CIO 的表述,真實地反映了用戶對開源社區商業模式的高度認可。
PingCAP 創始人兼 CEO 劉奇
PingCAP 創始人兼 CEO 劉奇在會上提到:“分布式數據庫是一個高度復雜的系統,與云的結合讓復雜度進一步上升。分布式數據庫是否能生存下去,本質在于能否掌控復雜度。”在過去的一年中劉奇做的最重要的工作之一是拜訪用戶,在與大量用戶溝通后劉奇發現:分而治之的開放式架構被認為是未來分布式云原生數據庫活下去的唯一方法,大多數用戶選擇 TiDB 的首要原因在于 TiDB 采用分離式架構,更能管理復雜性。
據用戶反饋:PingCAP 更受 CEO 和 CFO 的歡迎,因為使用 TiDB 替換傳統數據庫,至少可以將使用成本降低一半,還能破解企業在技術人才匱乏方面的難題。除此之外,越來越多的年輕用戶已不再關心數據庫的底層架構,只關注數據庫產品能否應對業務敏捷挑戰,能否在不確定的環境下滿足業務高速發展的需求。
數據庫能力如何支持企業級用戶業務的敏捷性?
商業模式的成功,只是企業駛入發展快車道的第一步,而第二步則是不斷打磨產品。劉奇提到:企業級用戶對數據庫產品敏捷性的需求使 PingCAP 重新思考,及時調整組織架構以及產品方案,以滿足用戶核心系統對敏捷性和穩定性的要求。
TiDB 早在 1.0 版本就實現了在線事務處理的規?;瘮U展,為 HTAP 能力打下堅實的基石;4.0 版本實現初步的 HTAP 能力,OLAP 與 OLTP 分區獨立,物理隔離;5.0 版本在原有 HTAP 引擎的基礎上引入 MPP 架構,進一步提升海量數據下的并行計算與分析能力,支持同一架構下對 Spark、Flink 等技術棧的集成,成為具備完整實時 HTAP 能力的分布式數據庫,助力企業提升關鍵業務的時效性。
2022 年, TiDB 6.1版本發布,強化了系統優化器,支持系統智能選擇存儲方式,這是第一個面向企業級的長期支持版( Long Term Support,簡稱 LTS),可穩定維護。對于用戶而言,在沒有特定需求開發的情況下,可以選擇最新的 LTS 版本投產。如果需要某個 DMR(開發里程碑版本)發布的新功能,可以選擇 DMR 版本進行 PoC 以及試運行,待到對應的 LTS 版本發布后升級 TiDB 到穩定生產狀態。PingCAP 期望通過“敏態+穩態”快慢結合的方式最大限度兼顧快速迭代和穩定投產兩方面的需求。
PingCAP 研發副總裁 唐劉
“PingCAP 是一家非常年輕的公司,我們的產品也在不斷打磨和完善。一方面我們需要快速迭代,不斷將產品的價值快速交付給客戶,另一方面面對諸多核心場景,我們還要打磨一個更加穩定的產品,讓客戶能夠非常高效、放心地使用。” PingCAP 研發副總裁唐劉如是說。
PingCAP 的做法是采用“穩態+敏態”雙軌并行的研發機制:一方面采用開放式架構,另一方面充分利用豐富的用戶場景持續打磨產品。這樣的好處是既能保證用戶對產品觸手可及、隨時可用,又能在核心場景穩定放心地使用。
數據服務的敏捷性究竟有多快呢?最好的例子就是 OSS Insight。這是一款從 0 到 1 快速打造的產品,OSS Insight 起初只是劉奇為了在 5-8 分鐘內講清楚什么是 HTAP 的一個 Demo,它支持復雜條件的查詢和分析,可以讓用戶從熟悉的簡單數據中獲得全新視角的洞察,同時也是一個真實承載了 50 億條數據的平臺,更是一個一秒就能體驗的真實、好看、好用、好玩且易于傳播的平臺。
用戶普遍認為,要做 OSS Insight 這樣一個查詢和分析的平臺大概需要 4-6 個人花費半年時間。實際上,基于 TiDB Cloud,2 個人只花一個周末就可以將第一個版本推向市場。以這樣的速度,企業通過 TiDB 可以領先對手幾倍時間,也可以節約大量人力成本,真正做到以更低的技能要求、更快的速度將產品推向市場,從而更快產生價值。
PingCAP 研發副總裁唐劉提到: OSS Insight 有將近 50 億條開源數據,查詢條件非常復雜,面對這樣高度復雜的情況,PingCAP 和 OSS Insight 研發工程師不停打磨、重構、加固優化器,如今不但研發工程師不再需要寫 HINT ,而且智能優化水平比人工寫 HINT 提速了 20-30%。
“通過 OSS Insight ,我們可以讓人人都能在 5 秒鐘內獲得 Insight 。我們設想每個組織、每個企業、每個人都可以獲得這項能力,都有好奇心去獲取 Insight,基于 OSS Insight 中的開源數據,任何人都能提出自己的 Idea。”劉奇如是說。
另外一個例子是一家銀行客戶,這家頭部股份制銀行將 TiDB 產品應用到銀行核心系統,與 PingCAP 持續打磨 TiDB 的內核能力。如今的成果是:在 7×24 小時性能測試中,可以將整個延遲抖動控制在 2% 以內;在某頭部城商行互聯網交易系統上將延遲縮短了 4 倍,滿足了客戶互聯網銀行核心上線的需求。
據了解,作為一棧式數據服務平臺,TiDB 一直致力于提升用戶業務的敏捷性,近兩年產品內核性能和穩定性也在不斷提升,成為各行業頭部企業的選擇。TiDB OLTP 的 TPCC 性能提升 200%-300%,實時 HTAP 性能提升 200%-300%,核心場景性能也獲得持續突破,例如銀行的轉賬核心負載延遲優化達 4 倍之多,物流等超高吞吐實時在線交易讀寫混合負載性能提升 100% 以上,保障了數億用戶的順滑體驗。
為何 PingCAP 成為行業頭部客戶的共同選擇?
會上,來自建信金科、百勝中國、傳音控股、老虎國際、平安科技、杭州銀行、中國人壽財險、工商銀行、東軟集團、中電金信、嘉和美康、神州數碼、云徙科技、天翼云等多家 PingCAP 重量級客戶、合作伙伴及產業大咖為其站臺,分享數字化轉型與數據價值創新中的選擇,探討如何通過面向未來的敏捷數據服務平臺實現業務的加速和創新。
建信金科是中國建設銀行金融科技子公司。建信金科基礎技術中心副總裁邢磊道出了其選擇 PingCAP 的三大理由:一是服務于客戶成功,關注客戶遇到的實際問題;二是 PingCAP 具有開源開放的特征,相信開源和開放的力量會成為未來企業技術重要的組成部分;三是 PingCAP 有很好的成長性,與 PingCAP 一起、與優秀的開發者和專家一起將取得更快的成長。
建信金科基礎技術中心副總裁 邢磊
與大多數用戶不同的是,建信金科與 PingCAP 的接觸始于 TiKV。建信金科在做微服務、分布式時要對數據做拆分,要求在現有的傳統渠道、傳統業務和交易不受影響的前提下改造后端的服務能力,建信金科過去使用的是國外開源軟件,在安全穩定運行方面存在很大挑戰,而 TiKV 在這樣的背景下進入了建信金科的視野。
邢磊提到:為了能自己掌控技術,建信金科從 2020 年開始接觸 TiKV,與 PingCAP 共同努力投入研發資源和精力做業務場景適配,經過一年時間成功將 TiKV 5.0.4 版接入到全行分布式體系中,順利扛住 4 萬多 TPS 壓力穩定運行。伴隨核心業務改造,建信金科于 2021 年底將整個核心業務在分布式平臺上進行切換,TiKV 起到了關鍵作用。2022 年建信金科進一步借助 TiKV 的高可用體系構建了跨地域、跨中心的災備能力。
由于前期只關注應用系統項目,建信金科的業務在大規模分布式體系當中遇到了一系列穩定性、可用性問題,基礎平臺、基礎軟件等的可用性如何保障是一大難題。借助 PingCAP 的Chaos Mesh 混沌工程框架,在雙方的共同努力下,建信金科在 2021 年 7 月完成了第一批最重要的 18 個混沌和故障場景的注入。如今,建信金科已完成混沌工程平臺方案設計和平臺一期開發、建設工作,逐個攻破其在虛擬化環境、容器環境下的各種故障場景的模擬以及自動化裝配、組裝難題,使各類組件和數據庫能在場景下進行完整檢驗后再推向應用型項目。
傳統金融企業交易業務線和數據分析業務線的數據處理通常是分開的,多維查詢和管理類分析業務傾向于用大數據業務處理,但是隨著企業數字化轉型的逐步深入以及平臺生態的繁榮建設,所有的關鍵業務、核心業務都面臨著新的挑戰,用傳統的大數據技術很難在數據實時更新場景下同時提供多維的分析和查詢能力,這恰恰是 HTAP 要解決的問題。邢磊回憶:“當時建信金科遇到了非常大的挑戰,留給 PingCAP 的時間非常短,從2021年 4 月底提出到 5 月底完成技術驗證測試,只有一個月的時間,而到 10 月建信金科已正式投產進入穩定迭代。現在,建信金科的每個新場景都有 TiDB 的身影。”當前,建信金科正在嘗試將系統升級到 TiDB 的最新版本,同時將統一視圖、全量資產、反洗錢業務等在 HTAP 上做驗證和遷移。
百勝中國是中國最大的餐飲企業,致力于成為全球最創新的餐飲先鋒。百勝中國首席技術官張雷提到:“TiDB 是業內開源分布式數據庫的翹楚,百勝中國在 2019 年就開始用 TiDB 嘗試替代傳統的商業數據庫產品。百勝中國非常看重核心數據的處理主權,開源數據庫恰恰能夠幫助掌握這一主權,同時借助活躍的開源社區,進行企業內部創新性的架構研究以及落地。”經過一年的探索,TiDB 最終在百勝的業務中臺得以落地實施,穩定可靠地支撐海量的線上交易,實現了降本增效的目標。此外,百勝中國將 ERP 中的交易數據同步到 TiDB 中,與 BI 工具進行集成,大幅縮短了企業內部的財務報表生成時間,極大提升了內部的工作效率。
傳音控股是一家致力于成為新興市場消費者最喜愛的智能終端產品和移動互聯服務提供商,在與 PingCAP 的合作中,將其移動商店的整體服務架構遷移到了 TiDB 上。傳音控股移動互聯 CTO 史團委提到:“PingCAP 使得傳音控股可以將更多資源投入在業務的推進上,從龐大、復雜且耗時的中后臺工作中解放出來,提升人效,大幅降低成本。”據悉,TiDB 的水平擴展、故障自恢復、數據強一致性、高度兼容性等特點,幫助傳音控股實現了技術進階,大幅縮減了成本,提升了用戶體驗,加速了技術架構平臺化與垂直化的演進。
老虎國際作為全球知名的國際化券商,在新加坡、美國、中國香港、澳大利亞等地持有 59 張牌照或資質,在全球多地開展業務。老虎國際技術副總裁柳鍇表示,只有真正的全球化公司才能服務全球化客戶。基于全球化的業務,老虎國際面臨著全球業務拓展、數據架構復雜以及金融數據安全等方面的挑戰。TiDB 可以解決系統架構的復雜度,同時通過低延遲、數據強一致性,解決業務挑戰與數據安全挑戰,獲得了老虎國際研發、運維以及業務等多個部門的一致認可。
持續引領數據庫的演進方向
據悉,接下來 PingCAP 將在 DB 微服務化、云原生、智能化以及未來數據生態等方面不斷探索,持續引領數據服務的演進方向。對用戶而言,最直觀的感受是 PingCAP 正在不斷降低數據庫的行業門檻。TiDB 在提供數據庫本身能力的同時,提供非常強的實時在線分析能力,并且通過規模效應將成本降低至原來的十分之一甚至是百分之一。
唐劉提到:TiDB 包括存儲層、計算層在內的各個組件都可以以微服務的方式提供,通過微服務化的方式做 TiDB 系統架構的演進是 PingCAP 一直堅持的研發原則。DB 微服務化可以將數據庫任何可分離的組件都實現服務化,打造 PB 級在線數據服務平臺,提供更高的規模效應、更好的容錯能力以及更強的風險控制手段。最近半年以來 PingCAP 正在進行存算分離的拆分,TiFlash 的存算分離是第一個階段;第二個階段,TiKV 會將 Compaction 移出做一個新的功能架構,預計將在半年到一年之內發布新產品。
可以看到,過去幾年 TiDB 提升的速度非???,隨著架構本身被分離得越來越好,產品性能的提升和改進將會非常驚人。唐劉進一步表示:“一個好的架構,一個正確的內核才有成長的可能,才有更高的天花板,接下來幾個月大家還能看到更多驚人的表現。”
關于企業網D1net(hfnxjk.com):
國內主流的to B IT門戶,同時在運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。同時運營18個IT行業公眾號(微信搜索D1net即可關注)