“十四五”期間，國家明確提出，要加強數字化政府的轉型。IDC報告也指出，2020年在中國Top1000企業里，70%的企業把數字化轉型作為未來的核心規劃，其中50%以上的企業已經完成一部分數字化轉型的準備工作，10%~20%的企業已經開始基于之前建設的數字化的基礎設施，去指導企業一些運營和決策管理等方面。

 

螞蟻集團數據庫產品負責人、OceanBase解決方案和產品總經理師文匯

 

 

從企業和CIO角度來看，在企業數字化轉型過程中，數據庫作為數據存儲的紐帶，需要兼顧成本、性能、穩定、效率、安全等很多方面因素；企業對數據和數據庫越來越依賴，也會遇到很多問題。比如，企業一般會建設自己的數據中臺、營銷中臺等，還有很多制造企業會把生產制造系統數據化，并帶到數據平臺上，也產生巨大的數據量，對整個數據庫的可擴展能力具有非常高的要求。制造企業對數據庫的要求可能會更高，因為數據庫出現問題，意味著整個生產都會受到比較大的影響；因此行業企業的數字化轉型使數據庫面臨巨大的挑戰。

從全球數據發展趨勢來看，過去十年，每年數據以30%左右的速度在積累，我在阿里巴巴集團和螞蟻集團的感觸更深刻，因為每年我們積累的數據量要比30%高一些，尤其是當前社會下，數據庫對于存儲的可擴展性、復雜能力的支持、算力的支持和要求比以前多很多。在這種場景下，很多傳統數據庫/存儲面臨非常大的挑戰?，F在行業企業所用的大部分數據庫誕生于上個世紀80~90年代，且建立在存儲和高端硬件上，很多金融企業和政企的核心業務系統還在使用這些傳統數據庫，很大程度上，無論是從性能還是從可擴展性方面，這些數據庫對企業業務會有很大制約。

舉例來說，螞蟻金服有一家規模較大的銀行客戶，其業務系統配置在傳統大型機上，每周五該銀行做“紅色星期五”活動的時候，經常會因為大型機出現問題而導致業務系統抖動。還有做跨境電商的、視頻的客戶，因為他們的一款商品、一件熱定單品每秒鐘需要處理幾萬甚至十萬以上的請求量，這對后臺數據庫的挑戰更大?；谶@些挑戰，一些分布式數據庫的解決方案不斷涌現。

目前業界正在發生的趨勢是，包括螞蟻金服合作的很多企業最開始有80%的業務跑在傳統數據庫和存儲上，現在已經逐步切換到分布式數據庫上。

 

為了應對未來業務的發展，CIO到底要幫助企業選擇一個什么樣的數據庫，既能夠實現自主可控又能夠幫助企業走得更遠？這是一個討論很久的話題，建議從兩個角度來思考這一問題。

第一，數據庫要確實能夠幫助業務的發展，為業務提供價值。這個價值可能是多方面的，包括具有更高的穩定性、更好的數據質量、更好的數據安全，數據不會丟失，也不會錯誤，有更好的擴展性，因為小業務會變大、大業務會變小，企業不希望因為業務變化而在數據庫上面花費特別多的精力。CIO要考慮整個企業的運行效率、運行成本，因為數據庫在整個IT成本中的占比蠻高，所以數據庫要為企業提供持續的、低成本的服務。

第二，現在很多企業已經有自己的數據庫體系，以及基于數據庫的研發和運維體系，新選型的數據庫要用最小的成本融入到這個體系里面，可能也有一些業務如規模較大的銀行，現在遇到了容量問題，需要遷移到新選型的數據庫上，新型數據庫的遷移成本要足夠低。

面對這些情況，螞蟻集團和阿里巴巴集團決定研發出OceanBase這款數據庫，這也是我們過去十年建設數據中臺和數據庫等基礎設施過程中，孕育出的具有最佳實踐的數據庫。

 

2010年螞蟻金服和阿里集團開始建設OceanBase數據庫。其第一個業務應用是淘寶的收藏夾業務，當時傳統的數據庫已經無法支撐，所以才遷移到OceanBase上。2013、2014年，整個集團開始推行自主可控的戰略決策，即希望在未來數據化建設過程中，數據庫底盤和基礎設施能夠實現自主可控，徹底擺脫對商業數據庫的依賴，于是發起了螞蟻集團“去商業數據庫”的行動。這對OceanBase的發展至關重要，相當于把整個業務的發展和“去商業數據庫”以及“自主可控”融入到了OceanBase產品里。

在OceanBase發展的第三階段，在阿里巴巴積累了這些數字化轉型以及數據庫基礎設施的經驗之后，我們希望賦能給行業伙伴，讓他們也能享受到我們積累的寶貴經驗。從2017年開始，我們和很多行業伙伴做了很多探索和共創，合作了一些項目。從2017年到2019年，我們清楚認識到，業界有很多企業還在使用傳統數據庫如MySQL、Oracle等，希望幫助他們從傳統數據庫轉換到使用比較簡單的OceanBase上。

當時，我們還把OceanBase數據庫的基礎架構做了很大的重構和改造。2019年重構之后的OceanBase在數據庫的benchmark測試中已經超越了Oracle，現在OceanBase4.0已達到世界第一。

2020年OceanBase作為一家獨立的公司開始商業化運營，并從金融行業走向政企行業以及各行各業。在滿足用戶需求的過程中，包括大用戶、小用戶，核心場景、非核心場景等，以及支持這些用戶的過程中，我們開始逐步認識到了“如何幫助用戶去釋放數據價值”這件事情的重要性。數據一直都在數據庫里，怎么樣幫助用戶把數據的價值最大、最快地發揮出來，這是我們和客戶需要一起去解決的問題。OceanBase4.0是分布式、一體化版本，能夠很好地支持在線交易業務和離線分析業務融合在一起，以支撐業務發展，進一步降低業務成本。

現在OceanBase支持公有云、私有云，也支持混合云部署，還支持海外的多云部署，支持市面上大部分硬件，如ARM、x86、華為鯤鵬。企業甚至可以把OceanBase裝在一個很小的Pad里。我們希望客戶能夠簡單使用，所以一個OceanBase的集群既可以支持MySQL語義，還可以支持Oracle語義，還支持一些實時數據庫的分析。

OceanBase不僅支持傳統的關系數據庫、KV數據庫，還支持圖數據庫和時序數據庫。這兩款數據庫的誕生也是源于螞蟻和阿里巴巴在某些業務領域的最佳實踐，比如圖數據庫廣泛應用在螞蟻集團風險防控領域里，我們用這個數據庫把風險防控漏洞過率從十萬分之一做到了百萬分之一。

 

現在螞蟻集團每天大概有接近上千個業務迭代、上千次業務發布，，因為要修改數據、修改模型，而螞蟻集團有2萬多個研發任務，支持這些工作的只有1~2個人，所有工作基本都是自動化完成的。我們有些伙伴也基于這些體系做研發和運維流程。

在企業任何一個發展階段中，數據的安全、數據庫的穩定性是都非常重要的事情。我們把數據庫安全穩定防護劃分了6級4層（見下圖），而且一直堅持所有數據都要經過充分校驗。

 

OceanBase數據庫安全的6級4層圖

 

第二層校驗發生在OceanBase集群內部，OceanBase支持多副本、強一致同步，我們客戶可能會把副本放在同一個城市的不同機房里，這些機房可能相距30、50公里，還有一些客戶會把OceanBase不同副本放在不同城市，比如網商銀行放在相距1200公里的兩個不同城市。這些數據副本是強一致、實時同步的，任何一個副本出現問題時，30秒就可以切到另一個副本。

第三層校驗主備庫，所有副本之間強一致同步是相關聯的事件，如果出現bug或異常，所有副本可能出現同樣的問題，但是主備庫是相互獨立的事件，兩個同時出問題的概率非常小，所以螞蟻集團所有的數據其實是被放了5份，既有強一致同步，也有主備庫的同步。

在過去的實踐中，最上一層防護幫螞蟻集團擋住或發現了很多問題，這一層校驗就是備份恢復?，F在螞蟻有幾千個PB的數據，可以讓業務回溯到線上14天內任意一個時間點；如果業務把數據寫錯了，可以回滾到線上業務的任何一個時間點，這些能力可以幫助用戶恢復數據。

 

2018年一家企業的“SSD靜默錯誤”導致整個企業的數據全部丟失。因為硬件廠商常常遭遇一些批次性故障，從而導致“靜默數據丟失”或“SSD掉盤”問題。螞蟻和阿里集團每年大概要采購幾十萬片到上百萬片SSD，因此也會出現和發生這些問題。去年，我親身經歷了這種事情。當時我們采購了大概十幾萬片SSD， 80%的概率會出現磁盤“靜默錯誤”。去年8、9月份時，這些磁盤基本上會在同一時刻、非常密集地出現這類問題。因為我們前面做了很多底層的校驗，因此在業務上能夠及時發現并重新定向正確的副本上。這種情況非常危險。因為這個原因，OceanBase架構每天都會把所有數據進行校驗。

我們能夠從軟件層面保證數據是正確的，因為數據庫是狀態級的產品，會對狀態變遷做校驗，對主表數據、索引數據、視圖數據、主表數據做校驗，會保證任何一刻或任何一個時間點出現錯誤，都能夠第一時間發現。

如何建設數據中臺？通常典型的場景是所有業務的數據分布在不同的數據庫里，通過CDC、ETL把所有數據回流到計算集群里，在上面構建業務數倉、業務原型進行分析。數據會存儲兩份，計算也會有兩份，有很大成本。

舉例來說，海底撈最開始也是這樣的，在線數據要同步到離線數據，再做運算。后來，他們讓在線數據和離線數據一起運算？因為數據本身就在那里，數倉是否可以基于實時在線模型去做一些運算？思考很久之后，我們認為可以做，OceanBase4.0也是朝著這個架構去研發的。我們所有數據會放在OceanBase不同的租戶里，在線請求和離線請求同時在這份數據上做計算，中間會有一些隔離措施，以保證在線請求不會被離線請求所影響。

為了更好支持HTAP在線的數據計算 (Hybrid Transaction and Analytical Process, 混合事務和分析處理能力)，我們做了行列混存，在學術里叫PAX。這能帶來非常大的好處，我們的數據能夠以原來1/10的成本存儲在磁盤上。螞蟻集團所有的業務，包括支付寶、花唄、借唄、農場小雞等所有數據都存放在OceanBase上，原來都是放在MySQL的，數據遷移過來之后，節省了2/3的成本，這個數據對一家企業來說是非?？捎^的。

企業在數字化轉型過程中或在生長發展中一定遇到很多問題，也會有很多創新的想法，這個想法開始可能只是簡單的原型，未來可能會發展壯大。過去幾十年，我看到很多這樣的業務，也有因為業務發展原因或戰略原因而逐步收縮的。我們在過去的實踐中花費非常大的精力用技術實現業務創新，這個投入非常大。2015、2016年之前，螞蟻和阿里巴巴大部分技術團隊都在做這個事情，希望我們在自身積累的這些經驗能夠平滑地遷移到各行各業。

OceanBase是支持副本的。當企業需要新引進一種硬件，硬件遭遇一大堆問題，或者企業想更換操作系統卻不知道新系統對數據庫的穩定性有多大影響時，我們可以幫助大家灰度驗證新硬件、操作系統，驗證以后再做大批量推廣、覆蓋，而且能夠讓他的業務不受任何影響，甚至是在沒有任何感知的情況下，就能完成驗證。

經過幾年的打磨，有兩個數據可以分享。1.現在  OceanBase最大的節點規模大概是1000臺。2.現在  OceanBase最大的集群應該有15PB，也是在做數據中臺的業務，上面有非常多的計算。

我們非常注重生態和伙伴建設，特別想說兩點：

1.在行業伙伴方面，我們和政企、金融行業TOP40家企業實現了產品層面的深度融合，就是在數據庫里幫他們定制很特色功能，幫助他們解決以前在傳統商業數據庫或者單體數據庫里很難解決的問題。

2.OceanBase這家公司一直在做相關人才建設，現在有1萬多注冊工程師，每年大概會投入幾千萬元和校企聯合培養大學生。

目前，OceanBase已經有400多家客戶，跑在OceanBase數據庫上的都是核心系統，如銀行的貸記核心、借記核心系統、運營商領域的CRM和BOS核心系統等。

過去三年多，OceanBase已經完成華麗轉身，不只是運行在螞蟻集團或工商銀行、建設銀行、交通銀行等規模較大的金融場景里，也運行在規模較小的業務場景里，如小區門口小的閘機等。

在OceanBase的發展過程中， 我自身也有一個非常深刻的體驗：技術出身的人，常常覺得這個技術不太行，需要升級一下?，F在我有一個非常大的轉變——不管什么技術，首先要適應業務發展的需要。

 

案例1：中石化在全中國有2億張加油卡，每天有3000萬筆交易量，由于歷史原因，在中石化的IT架構中，有22個省的業務系統基于Sybase數據庫而建，其他省的基于Oracle數據庫而建。需要把二三十個不同的數據庫遷移到SybaseIQ上進行數據分析。有些地方的業務量大、有些業務量小，會導致巨大的資源浪費；而且IT架構分散，不同省市采用不同版本的業務系統，導致業務邏輯復雜。尤其是每天3000萬筆交易量，一旦系統出現問題，對用戶的影響比較大。中石化一直想做業務異地容災，以降低風險，但異地災備的成本非常高，難以實現。

OceanBase團隊和中石化相關技術部門充分交流和討論之后，決定把螞蟻和阿里集團的一些實踐經驗引入到中石化的異地災備和單元化多活方案中。最終方案比較簡單：分別在北京、南京設置一個數據中心，每個數據中心承擔一部分省市的業務數據，這兩個數據中心是多活的，每個數據中心配置一個OceanBase數據庫，數據在這兩個中心通過OceanBase進行實時同步。當一個數據中心出現故障，業務系統可以快速切換到另一個中心。除此之外，OceanBase具有當前業界推崇的HTAP能力。

案例2：山東是電信運營商業務中排名第二的人口大省，每天大概要處理130億條數據，數據量巨大。隨著5G和IoT的發展，在用戶增長比較快的地方以及新的業務場景上，運營商遇到了新的技術瓶頸。因為其業務系統建造得比較早，且基于Oracle數據庫，因此他們面臨兩個選擇，一是基于新的數據庫系統，重構所有的運營商業務，再一次；二是找一個能夠水平可轉的數據庫解決當下的問題。

運營商業務非常復雜，有很多復雜的查詢，還有很多Oracle的高階特性，這對任一數據庫的挑戰都很大。我們與運營商充分溝通之后，雙方都想嘗試一下，從Oracle數據庫平滑遷移到OceanBase，以解決業務遇到的容量問題。經過幾個月的努力，僅花一個小時就完成了整個業務的切換。最終BOS詳單的查詢效率提升了30%，存儲成本降低了90%，僅為原來的1/10。此項目獲得了工信部2002年網絡安全技術示范獎。

案例3：現在跨境電商比較火爆，致歐家居現在是亞馬遜亞洲區最大的電商伙伴，已進入了50多個國家，其業務部署在私有云、公有云，包括阿里云和AWS上；但因為他的很多業務系統是采購第三方的，所以他想對業務系統進行任何微小的調整都很困難。最后，他們利用OceanBase混合云和多租戶架構，把所有數據都匯聚到香港阿里云的OceanBase上，把他們在歐洲、北美所有AWS數據庫遷移到OceanBase，我們幫他們建設了一個一體化數倉，化解了困境。

案例4：汽車行業的MES系統對穩定性的要求非常高。理想汽車的L9MES系統是基于OceanBase而搭建的。

 

 

 

關于企業網D1net(hfnxjk.com)：

國內主流的to B IT門戶，同時運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)；同時運營18個IT行業公眾號(微信搜索D1net即可關注)。