精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當(dāng)前位置:CIO新聞中心 → 正文

OceanBase助力企業(yè)數(shù)字化轉(zhuǎn)型

責(zé)任編輯:cres |來(lái)源:企業(yè)網(wǎng)D1Net  2022-07-23 15:23:27 原創(chuàng)文章 企業(yè)網(wǎng)D1Net

7月22日,由企業(yè)網(wǎng)D1Net舉辦的全國(guó)CIO大會(huì)盛大召開(kāi)。本屆大會(huì)主題為“數(shù)字化升級(jí)轉(zhuǎn)型新場(chǎng)景”。主要分享交流CIO在數(shù)字化工作中的經(jīng)驗(yàn)和困惑,幫助全國(guó)各地的CIO們更好地應(yīng)對(duì)后疫情時(shí)代的數(shù)字化轉(zhuǎn)型,傳授以多種IT手段賦能新業(yè)務(wù)并實(shí)現(xiàn)降本增效實(shí)戰(zhàn)經(jīng)驗(yàn),內(nèi)容涵蓋基礎(chǔ)架構(gòu)、信息安全、協(xié)同辦公、數(shù)據(jù)、新技術(shù)(AI,低代碼等)等眾多領(lǐng)域。大會(huì)同期評(píng)選和頒發(fā)“2022全國(guó)優(yōu)秀CIO個(gè)人獎(jiǎng)”。
 
以下是現(xiàn)場(chǎng)速記。



OceanBase解決方案和產(chǎn)品總經(jīng)理 師文匯
 
師文匯:大家下午好!我是來(lái)自螞蟻集團(tuán)數(shù)據(jù)庫(kù)的負(fù)責(zé)人,現(xiàn)在也在負(fù)責(zé)OceanBase解決方案和產(chǎn)品。今天會(huì)站在數(shù)據(jù)庫(kù)的使用者和決策者的角度,以及數(shù)據(jù)庫(kù)服務(wù)提供商的角度跟大家分享一下OceanBase在過(guò)去一段時(shí)間里是怎么助力企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型的。
 
在政策方面,“十四五”期間明確提出要加強(qiáng)數(shù)字化政府的轉(zhuǎn)型。在行業(yè)方面,IDC2020年報(bào)告指出,中國(guó)Top1000企業(yè)里有70%的企業(yè)把數(shù)字化轉(zhuǎn)型作為接下來(lái)核心的規(guī)劃,其中50%以上的企業(yè)已經(jīng)完成了一部分?jǐn)?shù)字化轉(zhuǎn)型的準(zhǔn)備工作,10%~20%的企業(yè)已經(jīng)開(kāi)始用之前建設(shè)的數(shù)字化的基礎(chǔ)設(shè)施指導(dǎo)企業(yè)一些運(yùn)營(yíng)和企業(yè)決策管理方面的事情。
 
數(shù)據(jù)庫(kù)在企業(yè)數(shù)字化轉(zhuǎn)型過(guò)程中,作為數(shù)據(jù)存儲(chǔ)的紐帶,在企業(yè)和CIO眼里需要兼顧成本、性能、穩(wěn)定、效率、安全很多方面因素,在數(shù)字化轉(zhuǎn)型過(guò)程中,企業(yè)對(duì)數(shù)據(jù)和數(shù)據(jù)庫(kù)的依賴會(huì)越來(lái)越重要,在這一過(guò)程中,企業(yè)通常會(huì)遇到很多問(wèn)題。因?yàn)橐獢?shù)字化轉(zhuǎn)型,所以企業(yè)一般會(huì)建設(shè)自己的數(shù)據(jù)中臺(tái)、營(yíng)銷中臺(tái)、業(yè)財(cái)系統(tǒng),還有很多制造企業(yè)會(huì)把生產(chǎn)制造系統(tǒng)也數(shù)據(jù)化,帶到數(shù)據(jù)的平臺(tái)上。其實(shí)來(lái)了非常大的數(shù)據(jù)量,對(duì)整個(gè)數(shù)據(jù)庫(kù)的可擴(kuò)展能力有非常高的要求。對(duì)于制造領(lǐng)域,可能這個(gè)要求會(huì)更高,如果數(shù)據(jù)庫(kù)出現(xiàn)問(wèn)題,意味著整個(gè)生產(chǎn)都會(huì)受到比較大的影響。
 
剛剛從行業(yè)角度來(lái)說(shuō)整個(gè)轉(zhuǎn)型對(duì)數(shù)據(jù)庫(kù)的挑戰(zhàn)。從全球數(shù)據(jù)發(fā)展的角度來(lái)看,在過(guò)去十年里,每年以30%左右的速度在積累數(shù)據(jù),我在阿里巴巴集團(tuán)和螞蟻集團(tuán)感觸更深刻,因?yàn)槲覀兠磕攴e累的數(shù)據(jù)量要比30%高一些,尤其是在現(xiàn)在的社會(huì)下,數(shù)據(jù)庫(kù)對(duì)于存儲(chǔ)的可擴(kuò)展性、復(fù)雜能力的支持、算力的支持和要求要比以前大非常多。在這種場(chǎng)景下,就會(huì)對(duì)原來(lái)很多數(shù)據(jù)庫(kù)存儲(chǔ)產(chǎn)生非常大的挑戰(zhàn)。現(xiàn)在行業(yè)里用的大部分?jǐn)?shù)據(jù)庫(kù)誕生在上個(gè)世紀(jì)80和90年代,通常建立在存儲(chǔ)和高端硬件上,現(xiàn)在很多金融企業(yè)以及政企里很多非常核心的業(yè)務(wù)還在使用這些數(shù)據(jù)庫(kù),其實(shí)在很大程度上,無(wú)論是從性能還是從可擴(kuò)展性的角度,對(duì)整個(gè)業(yè)務(wù)都會(huì)有很大的制約。
 
我們有一個(gè)客戶是一家非常大的銀行,每周五都要做“紅色星期五”的活動(dòng),業(yè)務(wù)系統(tǒng)放在傳統(tǒng)的IBM大型機(jī)上,做這個(gè)活動(dòng)時(shí)經(jīng)常會(huì)因?yàn)榇笮蜋C(jī)出現(xiàn)問(wèn)題導(dǎo)致的抖動(dòng)。我們還有一些伙伴也比較有意思,其中一家做跨境電商的,還有一家是快手,他們遇到的問(wèn)題和挑戰(zhàn)可能會(huì)更大一點(diǎn),經(jīng)常會(huì)說(shuō)我有一個(gè)商品、有一個(gè)熱定單品,每秒鐘要處理幾萬(wàn)甚至到十萬(wàn)的請(qǐng)求量,正是基于這些挑戰(zhàn),我們?cè)谡麄€(gè)業(yè)界里也開(kāi)始有一些分布式數(shù)據(jù)庫(kù)的解決方案不斷涌現(xiàn)。
 
在我們過(guò)去合作的很多客戶里,大概看到一個(gè)現(xiàn)象,很多企業(yè)最開(kāi)始有80%的業(yè)務(wù)跑在傳統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)上,很多企業(yè)在數(shù)字化轉(zhuǎn)型過(guò)程中有80%的業(yè)務(wù)逐步切到了分布式數(shù)據(jù)庫(kù)上面。
 
今天從整個(gè)企業(yè)和企業(yè)CIO角度來(lái)看,為了應(yīng)對(duì)未來(lái)業(yè)務(wù)的發(fā)展,到底要幫助企業(yè)選擇一個(gè)什么樣的數(shù)據(jù)庫(kù),既自主可控,又能夠幫助未來(lái)企業(yè)走得更遠(yuǎn)?這是一個(gè)討論很久的話題,我站在螞蟻的角度大概從兩個(gè)角度來(lái)思考這一問(wèn)題:
 
第一,我們選型的數(shù)據(jù)庫(kù)要確實(shí)能夠幫助我們業(yè)務(wù)的發(fā)展,確實(shí)為業(yè)務(wù)提供價(jià)值。這個(gè)價(jià)值可能是多方面的,一方面是有更高的穩(wěn)定性、更好的數(shù)據(jù)質(zhì)量、更好的數(shù)據(jù)安全,數(shù)據(jù)不會(huì)丟,也不會(huì)錯(cuò),有更好的擴(kuò)展性,因?yàn)樾I(yè)務(wù)會(huì)變大,大業(yè)務(wù)會(huì)變小,不希望業(yè)務(wù)在這上面花費(fèi)特別多的精力。昨天有一個(gè)CIO講了一個(gè)詞叫優(yōu)化,站在CIO的角度,其實(shí)需要考慮整個(gè)企業(yè)的運(yùn)行效率、運(yùn)行成本,數(shù)據(jù)庫(kù)基本占整個(gè)IT花費(fèi)蠻高的,數(shù)據(jù)庫(kù)要為整個(gè)企業(yè)提供持續(xù)的低成本的服務(wù)。
 
第二,現(xiàn)在很多企業(yè)已經(jīng)有了自己的數(shù)據(jù)庫(kù)體系,以及基于數(shù)據(jù)庫(kù)的研發(fā)和運(yùn)維體系,新選型的數(shù)據(jù)庫(kù)其實(shí)要用最小的成本融入到這個(gè)體系里面,可能也有一些業(yè)務(wù),如比較大的銀行,現(xiàn)在業(yè)務(wù)遇到了容量問(wèn)題,需要遷移到新的選型的數(shù)據(jù)庫(kù)上,整個(gè)新選型的數(shù)據(jù)庫(kù)的遷移成本要足夠低。站在螞蟻集團(tuán)和阿里集團(tuán)數(shù)據(jù)庫(kù)負(fù)責(zé)人的角度,一直在思考這個(gè)問(wèn)題,正是因?yàn)榍懊嬲f(shuō)到這些問(wèn)題,所以在螞蟻集團(tuán)和阿里巴巴集團(tuán)才會(huì)孕育出OceanBase這一數(shù)據(jù)庫(kù),這其實(shí)也是我們?cè)谶^(guò)去的十年里建設(shè)數(shù)據(jù)中臺(tái)以及數(shù)據(jù)庫(kù)的基礎(chǔ)設(shè)施里,孕育了螞蟻和阿里最佳實(shí)踐的數(shù)據(jù)庫(kù)。
 
OceanBase發(fā)展歷程
 
從2010年開(kāi)始建設(shè)這個(gè)數(shù)據(jù)庫(kù),第一個(gè)業(yè)務(wù)叫做淘寶的收藏夾業(yè)務(wù),當(dāng)時(shí)在傳統(tǒng)的數(shù)據(jù)庫(kù)上已經(jīng)沒(méi)辦法支撐了,所以遷移到OceanBase上。到了2013、2014年,整個(gè)業(yè)務(wù)和整個(gè)集團(tuán)發(fā)生了比較大的戰(zhàn)略決策,即希望在未來(lái)數(shù)據(jù)化建設(shè)過(guò)程中,我們的數(shù)據(jù)庫(kù)底盤(pán)和基礎(chǔ)設(shè)施能夠自主可控,徹底擺脫對(duì)商業(yè)數(shù)據(jù)庫(kù)的依賴,我們發(fā)起了螞蟻集團(tuán)去商業(yè)數(shù)據(jù)庫(kù)的行動(dòng)。這一過(guò)程對(duì)OceanBase是很關(guān)鍵的,我們其實(shí)是把整個(gè)業(yè)務(wù)的發(fā)展以及去商業(yè)數(shù)據(jù)庫(kù)自主可控這件事情融入到了OceanBase產(chǎn)品里。
 
在OceanBase發(fā)展第三階段,是我們?cè)诎⒗锇桶头e累了這些數(shù)字化轉(zhuǎn)型以及數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施的經(jīng)驗(yàn),也是希望賦能給行業(yè)里一些伙伴,讓他們也能享受到我們以前積累的一些東西。從2017年開(kāi)始,我們和行業(yè)里的很多伙伴做了很多討論和共創(chuàng),一起做了一些項(xiàng)目。在2017年到2019年的時(shí)間里,我們清楚認(rèn)識(shí)到了一件事情,因?yàn)槲覀儤I(yè)界有很多MySQL、Oracle,需要幫助使用傳統(tǒng)數(shù)據(jù)庫(kù)的業(yè)務(wù)能夠比較簡(jiǎn)單的使用OceanBase。
 
在這一階段我們還做了一件事情,把整個(gè)數(shù)據(jù)庫(kù)的基礎(chǔ)架構(gòu)做了很大的重構(gòu)和改造,改造的結(jié)果是我們能夠在數(shù)據(jù)庫(kù)Top的benchmark里,2019年基于這一架構(gòu)超越了Oracle,做到了現(xiàn)在的世界第一,有幾十倍的差距。到了OceanBase4.0,在2020年OceanBase這家企業(yè)作為一個(gè)獨(dú)立的公司開(kāi)始商業(yè)化運(yùn)營(yíng),在這個(gè)階段,從金融走向了政企,走向了各行各業(yè),看到了很多用戶的需求,有大用戶、小用戶,有核心場(chǎng)景、非核心場(chǎng)景,支持這些用戶過(guò)程中,我們開(kāi)始逐步認(rèn)識(shí)到了如何幫助用戶去釋放數(shù)據(jù)價(jià)值這件事情的重要性。數(shù)據(jù)其實(shí)一直都在數(shù)據(jù)庫(kù)里,我們?cè)趺礃訋椭脩舭褦?shù)據(jù)的價(jià)值最大、最快發(fā)揮出來(lái),這是我們和客戶一起討論,要一起去解決的問(wèn)題。所以O(shè)ceanBase4.0叫做分布式一體化版本,很好支持在線交易業(yè)務(wù)和離線分析業(yè)務(wù)融合在一起,來(lái)支撐業(yè)務(wù),進(jìn)一步降低業(yè)務(wù)成本。
 
從OceanBase產(chǎn)品體系來(lái)看,現(xiàn)在OceanBase支持公有云部署、私有云部署,也支持混合云部署,還支持海外多云部署,我們支持市面上大部分硬件,比如ARM、x86、華為鯤鵬,大家甚至可以把OceanBase裝在一個(gè)很小的Pad里。我們希望把所有簡(jiǎn)單都留給客戶,一個(gè)OceanBase的集群既可以支持MySQL的語(yǔ)義,還可以支持Oracle的語(yǔ)義,后面可以方便做一些實(shí)時(shí)數(shù)據(jù)庫(kù)的分析。
 
從OceanBase產(chǎn)品體系來(lái)看,我們不僅支持傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)、KV數(shù)據(jù)庫(kù),還支持圖數(shù)據(jù)庫(kù)和持續(xù)數(shù)據(jù)庫(kù),這兩款數(shù)據(jù)庫(kù)誕生也是源于螞蟻和阿里巴巴在某些業(yè)務(wù)領(lǐng)域的最佳實(shí)踐,比如圖數(shù)據(jù)庫(kù),廣泛應(yīng)用在螞蟻集團(tuán)風(fēng)險(xiǎn)防控領(lǐng)域里,我們用這個(gè)數(shù)據(jù)庫(kù)把風(fēng)險(xiǎn)防控漏洞過(guò)率從十萬(wàn)分之一做到了百萬(wàn)分之一。
 
現(xiàn)在螞蟻每天大概有接近上千個(gè)業(yè)務(wù)迭代,會(huì)有上千次業(yè)務(wù)發(fā)布,這里大概會(huì)有成千上萬(wàn)次的DDL和DML(音),因?yàn)橐臄?shù)據(jù)、改模型,因?yàn)槲浵伡瘓F(tuán)有2萬(wàn)多個(gè)研發(fā),支持這些工作的人只有1~2個(gè),所有的東西基本都是被自動(dòng)化完成的,我們有些伙伴也在基于這些體系做運(yùn)維和研發(fā)流程。
 
對(duì)于一個(gè)數(shù)據(jù)庫(kù)來(lái)說(shuō),我們覺(jué)得數(shù)據(jù)的安全、數(shù)據(jù)庫(kù)的穩(wěn)定性是在企業(yè)發(fā)展任何一個(gè)階段都重要的事情,我們把數(shù)據(jù)庫(kù)安全穩(wěn)定防護(hù)分了6級(jí)4層,我們一直都堅(jiān)持所有的數(shù)據(jù)都是要經(jīng)過(guò)被充分校驗(yàn)的。第二層校驗(yàn)發(fā)生在OceanBase集群內(nèi)部的,OceanBase支持多副本強(qiáng)一致同步,我們客戶可能會(huì)把副本放在同一個(gè)城市的不同機(jī)房里,這些機(jī)房可能相距30、50公里,還有一些客戶會(huì)把OceanBase不同副本放在不同城市里,比如網(wǎng)商銀行放在相距1200公里不同的兩個(gè)城市里面。這些數(shù)據(jù)副本是做強(qiáng)一致實(shí)時(shí)同步的,任何一個(gè)副本出現(xiàn)問(wèn)題時(shí),30秒可以切到另一個(gè)副本。第三層校驗(yàn)主備庫(kù),所有副本之間強(qiáng)一致同步其實(shí)是相關(guān)聯(lián)的事件,如果出現(xiàn)bug或異常,所有副本可能出現(xiàn)同樣的問(wèn)題,但是主備庫(kù)是相互獨(dú)立的事件,兩個(gè)同時(shí)出問(wèn)題的概率非常小,所以螞蟻集團(tuán)所有的數(shù)據(jù)其實(shí)是被放了5份,既有強(qiáng)一致同步,也有主備庫(kù)的同步。最上一層防護(hù)在我過(guò)去的實(shí)踐里,幫我們擋住或發(fā)現(xiàn)了很多問(wèn)題,這一層校驗(yàn)就是備份恢復(fù),現(xiàn)在螞蟻有幾千個(gè)PB的數(shù)據(jù),我在螞蟻可以讓業(yè)務(wù)回溯到線上14天內(nèi)任意一個(gè)時(shí)間點(diǎn),如果業(yè)務(wù)把數(shù)據(jù)寫(xiě)錯(cuò)了,可以回滾到線上業(yè)務(wù)任何一個(gè)時(shí)間點(diǎn),這個(gè)事情在我們客戶里也有發(fā)生,我們用這些能力幫他恢復(fù)數(shù)據(jù)。因?yàn)槿说腻e(cuò)誤、軟件的bug不可避免,很容易會(huì)把數(shù)據(jù)寫(xiě)錯(cuò)的。
 
示例,數(shù)據(jù)庫(kù)怎么保障數(shù)據(jù)安全和數(shù)據(jù)正確
 
2018年的一個(gè)企業(yè),SSD靜默錯(cuò)誤導(dǎo)致整個(gè)企業(yè)全部數(shù)據(jù)丟失。
 
硬件廠商都會(huì)發(fā)生一些批次性故障,要么靜默數(shù)據(jù)丟失,要么SSD掉盤(pán)。因?yàn)槲覀兠磕甏蟾庞袔资f(wàn)片到上百萬(wàn)片SSD的采購(gòu),這些問(wèn)題是經(jīng)常會(huì)出現(xiàn)和發(fā)生的,在去年我經(jīng)歷了我印象非常深刻的一件事情,我們采購(gòu)了大概十幾萬(wàn)片的SSD,SSD大概有80%的概率會(huì)出現(xiàn)磁盤(pán)的靜默錯(cuò)誤,寫(xiě)進(jìn)去的數(shù)據(jù)是1,讀出來(lái)是0,告訴你這個(gè)數(shù)據(jù)寫(xiě)成功了。在去年8、9月份時(shí),非常密集的這些磁盤(pán)基本上會(huì)在同一時(shí)刻出現(xiàn)問(wèn)題。可能今天A磁盤(pán)說(shuō)這個(gè)數(shù)據(jù)壞了,明天B磁盤(pán)數(shù)據(jù)壞了,因?yàn)槲覀兦懊孀隽撕芏嗟讓拥男r?yàn),在業(yè)務(wù)上能發(fā)現(xiàn),發(fā)現(xiàn)以后會(huì)重新定向正確的副本上,包括不會(huì)失敗。其實(shí)這是非常有危險(xiǎn)的。大概因?yàn)檫@個(gè)事情,OceanBase架構(gòu),每天都會(huì)把所有的數(shù)據(jù)做checksum。
 
我們從軟件上保證數(shù)據(jù)是正確的,因?yàn)閿?shù)據(jù)庫(kù)是一個(gè)狀態(tài)級(jí),會(huì)把狀態(tài)變遷做好checksum,把主表數(shù)據(jù)、索引數(shù)據(jù)、視圖數(shù)據(jù)、主表數(shù)據(jù)做checksum,會(huì)保證任何一刻或任何一個(gè)時(shí)間點(diǎn)出現(xiàn)錯(cuò)誤,能第一時(shí)間發(fā)現(xiàn)。
 
如何建設(shè)數(shù)據(jù)中臺(tái)?通常典型的場(chǎng)景是所有業(yè)務(wù)的數(shù)據(jù)分布在不同的數(shù)據(jù)庫(kù)里,通過(guò)CDC、ETL,把所有數(shù)據(jù)回流到計(jì)算集群里,在上面構(gòu)建業(yè)務(wù)數(shù)倉(cāng)業(yè)務(wù)原型做分析。數(shù)據(jù)會(huì)存儲(chǔ)兩份,計(jì)算也會(huì)有兩份,有很大的成本。海底撈最開(kāi)始也是這樣的,在線數(shù)據(jù)要同步到離線數(shù)據(jù),再做運(yùn)算,他說(shuō)能不能讓在線數(shù)據(jù)和離線數(shù)據(jù)一起算?因?yàn)閿?shù)據(jù)本身就在那里,數(shù)倉(cāng)是否可以基于實(shí)時(shí)在線模型去做一些運(yùn)算?我們思考了很久,覺(jué)得可以,OceanBase4.0也是朝著這個(gè)架構(gòu)去做的。我們所有的數(shù)據(jù)會(huì)放在OceanBase不同的租戶里,在線請(qǐng)求和離線請(qǐng)求同時(shí)在這份數(shù)據(jù)上做計(jì)算,中間會(huì)有一些隔離保證在線的請(qǐng)求不會(huì)被離線的請(qǐng)求所影響。
 
為了更好支持HTAP在線的數(shù)據(jù)計(jì)算,我們做了行列混存,在學(xué)術(shù)里叫PAX,能給我們帶來(lái)非常大的好處,我們的數(shù)據(jù)能夠以原來(lái)1/10的成本存儲(chǔ)在磁盤(pán)上。螞蟻所有的業(yè)務(wù),支付寶、花唄、借唄、農(nóng)場(chǎng)小雞所有的數(shù)據(jù)都是放在OceanBase上的,原來(lái)都是放在MySQL,這個(gè)數(shù)據(jù)遷過(guò)來(lái),節(jié)省了2/3的成本,對(duì)一家企業(yè)來(lái)說(shuō)這個(gè)成本是非常可觀的。
 
在整個(gè)企業(yè)數(shù)字化轉(zhuǎn)型過(guò)程中或在整個(gè)企業(yè)生長(zhǎng)發(fā)展過(guò)程中一定遇到很多問(wèn)題,大家一定會(huì)有很多創(chuàng)新的想法,而這個(gè)想法開(kāi)始可能只是原型,未來(lái)可能會(huì)變得很大。過(guò)去幾十年我看到很多這樣的業(yè)務(wù),也有因?yàn)闃I(yè)務(wù)發(fā)展原因或戰(zhàn)略原因,開(kāi)始逐步收縮。我們?cè)谶^(guò)去的實(shí)踐里花費(fèi)了非常大的精力去幫助技術(shù)能夠?qū)崿F(xiàn)業(yè)務(wù)上的skill,這個(gè)投入非常大。螞蟻和阿里巴巴在2015、2016年前,大部分技術(shù)都在做這個(gè)事情,我希望我們?cè)谖浵伜桶⒗锓e累的這方面經(jīng)驗(yàn)?zāi)軌蚱交剡w移到我們行業(yè)里面,行業(yè)的同學(xué)只需要關(guān)注行業(yè),發(fā)展好業(yè)務(wù)就可以了。
 
OceanBase是支持副本的,天生可以做一件事情,我和伙伴們交流,他們新引進(jìn)一個(gè)硬件,硬件出現(xiàn)一大堆問(wèn)題,或者企業(yè)想換一個(gè)OS,不知道這個(gè)東西對(duì)我的數(shù)據(jù)庫(kù)穩(wěn)定性到底有多大影響?我們提供這種能力,可以幫助大家灰度驗(yàn)證新硬件、操作系統(tǒng),驗(yàn)證以后做大批量推廣覆蓋,對(duì)整個(gè)業(yè)務(wù)來(lái)說(shuō)沒(méi)有任何感知。
 
經(jīng)過(guò)幾年的打磨,有兩個(gè)數(shù)據(jù)分享給大家:
 
1.現(xiàn)在最大的節(jié)點(diǎn)規(guī)模大概有1000臺(tái)。
 
2.現(xiàn)在最大的集群應(yīng)該有15PB,也是在做數(shù)據(jù)中臺(tái)的業(yè)務(wù),所有數(shù)據(jù)大概有15PB,上面有非常多的計(jì)算。
 
我們非常注重生態(tài)和伙伴的建設(shè),特別想說(shuō)兩點(diǎn):
 
1.我們?cè)谛袠I(yè)方面的伙伴,我們和政企、金融行業(yè)大概有TOP40家企業(yè)做了深度融合,深度產(chǎn)品層面的融合,簡(jiǎn)單來(lái)說(shuō)就是我在數(shù)據(jù)庫(kù)里幫他定制很多feature,幫助這些業(yè)務(wù)解決以前在傳統(tǒng)商業(yè)數(shù)據(jù)庫(kù)或者單體數(shù)據(jù)庫(kù)很難解決的問(wèn)題。
 
2.OceanBase這家公司一直在做相關(guān)人才的建設(shè),現(xiàn)在有1
 
萬(wàn)多注冊(cè)工程師,每年大概會(huì)投入幾千萬(wàn)和校企做聯(lián)合、做大學(xué)生的培養(yǎng)。
 
從金融到現(xiàn)在,走向全球各行各業(yè),有400多個(gè)客戶,比較有特點(diǎn),基本上OceanBase在里面做的都是核心系統(tǒng),比如銀行的貸記核心、借記核心,運(yùn)營(yíng)商領(lǐng)域的CRM和BOS核心,這里可能有很多l(xiāng)ogo大家都很熟悉,這些logo可能都很大,但是有很多l(xiāng)ogo很小,有很多l(xiāng)ogo是和OceanBase一起成長(zhǎng)起來(lái)的。
 
做基礎(chǔ)設(shè)施出身的人非常容易做一件事情,老是覺(jué)得這個(gè)技術(shù)不太行,升級(jí)一下。我現(xiàn)在有一個(gè)非常大的轉(zhuǎn)變,不管做什么,要適應(yīng)業(yè)務(wù)發(fā)展的需要。過(guò)去三年多,OceanBase完成了非常大的轉(zhuǎn)身,不只是可以在螞蟻或工商銀行、建設(shè)銀行、交通銀行這樣非常大的場(chǎng)景里運(yùn)行,也可以在非常小的場(chǎng)景里運(yùn)行,比如我們之前做了很多小區(qū)門(mén)口小的閘機(jī)。
 
案例分享
 
案例1,中石化在全中國(guó)有2億張加油卡,每天有3000萬(wàn)筆交易量,由于歷史原因,中石化架構(gòu)有點(diǎn)奇怪,有22個(gè)省用Sybase建設(shè)的,其他的用Oracle來(lái)建設(shè)的。需要把二三十個(gè)不同的數(shù)據(jù)庫(kù)遷移到SybaseIQ上做分析。這20~30個(gè)省有寫(xiě)業(yè)務(wù)量大、有些業(yè)務(wù)量小,有非常大的浪費(fèi)。因?yàn)槭且粋€(gè)分散化的架構(gòu),每一個(gè)不同的省市可能用了不同版本的業(yè)務(wù),造成一個(gè)問(wèn)題,我是從杭州來(lái)的,要去北京或四川加油,業(yè)務(wù)邏輯非常復(fù)雜,先到北京的業(yè)務(wù),再到四川的業(yè)務(wù)。
 
在這里還有一個(gè)比較大的挑戰(zhàn)可能更麻煩,其實(shí)每天有3000萬(wàn)筆交易量,如果出問(wèn)題,對(duì)所有開(kāi)車(chē)的朋友影響還是比較大的,整個(gè)石化一直想做業(yè)務(wù)異地容災(zāi),分散在很多省里,要做這件事情的成本非常高,基本不可能。我們和石化的小伙伴做了很多交流和討論,也把我們以前在螞蟻和阿里的一些經(jīng)驗(yàn)放到他們的異地災(zāi)備和單元化多活方案里。最終方案也比較簡(jiǎn)單,他們北京有一個(gè)中心、南京有一個(gè)中心,每個(gè)中心會(huì)承擔(dān)一部分省市的業(yè)務(wù)數(shù)據(jù),但是這兩個(gè)中心是多活的,每個(gè)中心有一個(gè)OceanBase的數(shù)據(jù)庫(kù),數(shù)據(jù)在這兩個(gè)中心通過(guò)我們一個(gè)產(chǎn)品做實(shí)時(shí)的同步,一個(gè)中心出現(xiàn)故障,可以快速切到另外一個(gè)中心。除此之外,是HTAP能力。
 
案例2,運(yùn)營(yíng)商業(yè)務(wù),山東省是運(yùn)營(yíng)商的第二大人口省,每天大概要處理130億條數(shù)據(jù),數(shù)據(jù)量挺大。隨著5G和IoT的發(fā)展,運(yùn)營(yíng)商在很多用戶增長(zhǎng)比較快的地方以及新的場(chǎng)景上遇到了瓶頸,因?yàn)橄到y(tǒng)很早建造的,是基于Oracle,就面臨兩個(gè)選擇,一是把所有的運(yùn)營(yíng)商業(yè)務(wù)重構(gòu),基于新的數(shù)據(jù)庫(kù)系統(tǒng)做一次建設(shè);二是找一個(gè)能夠水平可轉(zhuǎn)的數(shù)據(jù)庫(kù)解決當(dāng)下的問(wèn)題。在運(yùn)營(yíng)商領(lǐng)域業(yè)務(wù)非常復(fù)雜,有很多復(fù)雜的查詢,還有很多Oracle的高階特性,對(duì)任意數(shù)據(jù)庫(kù)的挑戰(zhàn)都很大,我們做了很多次溝通,最終覺(jué)得可以一起嘗試一下,把Oracle平滑遷移到OceanBase,解決業(yè)務(wù)遇到的容量問(wèn)題。最終這個(gè)業(yè)務(wù)經(jīng)過(guò)大概幾個(gè)月的努力,花了一個(gè)小時(shí)就完成了整個(gè)業(yè)務(wù)的切割,切割以后,BOS詳單查詢效率提升了30%,存儲(chǔ)成本降低了90%,變成了原來(lái)的1/10。這個(gè)項(xiàng)目獲得了工信部2002年網(wǎng)絡(luò)安全技術(shù)示范獎(jiǎng)。
 
案例3,致歐家居,現(xiàn)在跨境電商比較火爆,我們合作伙伴致歐現(xiàn)在是亞馬遜亞洲最大的電商伙伴,進(jìn)入了50多個(gè)國(guó)家,它的業(yè)務(wù)部署在私有云、公有云,包括阿里云和AWS上,他想做任何一件事情都很困難,因?yàn)楹芏鄻I(yè)務(wù)系統(tǒng)是采購(gòu)的,它利用OceanBase混合云和多租戶的架構(gòu),把所有的數(shù)據(jù)都匯聚到了香港阿里云的OceanBase上,把它在歐洲、北美所有的AWS數(shù)據(jù)庫(kù)遷移到OceanBase,我們幫它做了一個(gè)一體化的數(shù)倉(cāng)。
 
案例4,理想汽車(chē),L9MES系統(tǒng)是基于OceanBase的,MES系統(tǒng)對(duì)穩(wěn)定性的要求非常高。
 
OceanBase走過(guò)來(lái)大概有十年時(shí)間,我們一直堅(jiān)持一件事情是希望把復(fù)雜的東西留給我們自己,讓用戶可以比較簡(jiǎn)單地做創(chuàng)新,讓用戶更好地去發(fā)掘數(shù)據(jù)的價(jià)值。
 
謝謝大家!

關(guān)鍵字:數(shù)字化轉(zhuǎn)型

原創(chuàng)文章 企業(yè)網(wǎng)D1Net

x OceanBase助力企業(yè)數(shù)字化轉(zhuǎn)型 掃一掃
分享本文到朋友圈
當(dāng)前位置:CIO新聞中心 → 正文

OceanBase助力企業(yè)數(shù)字化轉(zhuǎn)型

責(zé)任編輯:cres |來(lái)源:企業(yè)網(wǎng)D1Net  2022-07-23 15:23:27 原創(chuàng)文章 企業(yè)網(wǎng)D1Net

7月22日,由企業(yè)網(wǎng)D1Net舉辦的全國(guó)CIO大會(huì)盛大召開(kāi)。本屆大會(huì)主題為“數(shù)字化升級(jí)轉(zhuǎn)型新場(chǎng)景”。主要分享交流CIO在數(shù)字化工作中的經(jīng)驗(yàn)和困惑,幫助全國(guó)各地的CIO們更好地應(yīng)對(duì)后疫情時(shí)代的數(shù)字化轉(zhuǎn)型,傳授以多種IT手段賦能新業(yè)務(wù)并實(shí)現(xiàn)降本增效實(shí)戰(zhàn)經(jīng)驗(yàn),內(nèi)容涵蓋基礎(chǔ)架構(gòu)、信息安全、協(xié)同辦公、數(shù)據(jù)、新技術(shù)(AI,低代碼等)等眾多領(lǐng)域。大會(huì)同期評(píng)選和頒發(fā)“2022全國(guó)優(yōu)秀CIO個(gè)人獎(jiǎng)”。
 
以下是現(xiàn)場(chǎng)速記。



OceanBase解決方案和產(chǎn)品總經(jīng)理 師文匯
 
師文匯:大家下午好!我是來(lái)自螞蟻集團(tuán)數(shù)據(jù)庫(kù)的負(fù)責(zé)人,現(xiàn)在也在負(fù)責(zé)OceanBase解決方案和產(chǎn)品。今天會(huì)站在數(shù)據(jù)庫(kù)的使用者和決策者的角度,以及數(shù)據(jù)庫(kù)服務(wù)提供商的角度跟大家分享一下OceanBase在過(guò)去一段時(shí)間里是怎么助力企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型的。
 
在政策方面,“十四五”期間明確提出要加強(qiáng)數(shù)字化政府的轉(zhuǎn)型。在行業(yè)方面,IDC2020年報(bào)告指出,中國(guó)Top1000企業(yè)里有70%的企業(yè)把數(shù)字化轉(zhuǎn)型作為接下來(lái)核心的規(guī)劃,其中50%以上的企業(yè)已經(jīng)完成了一部分?jǐn)?shù)字化轉(zhuǎn)型的準(zhǔn)備工作,10%~20%的企業(yè)已經(jīng)開(kāi)始用之前建設(shè)的數(shù)字化的基礎(chǔ)設(shè)施指導(dǎo)企業(yè)一些運(yùn)營(yíng)和企業(yè)決策管理方面的事情。
 
數(shù)據(jù)庫(kù)在企業(yè)數(shù)字化轉(zhuǎn)型過(guò)程中,作為數(shù)據(jù)存儲(chǔ)的紐帶,在企業(yè)和CIO眼里需要兼顧成本、性能、穩(wěn)定、效率、安全很多方面因素,在數(shù)字化轉(zhuǎn)型過(guò)程中,企業(yè)對(duì)數(shù)據(jù)和數(shù)據(jù)庫(kù)的依賴會(huì)越來(lái)越重要,在這一過(guò)程中,企業(yè)通常會(huì)遇到很多問(wèn)題。因?yàn)橐獢?shù)字化轉(zhuǎn)型,所以企業(yè)一般會(huì)建設(shè)自己的數(shù)據(jù)中臺(tái)、營(yíng)銷中臺(tái)、業(yè)財(cái)系統(tǒng),還有很多制造企業(yè)會(huì)把生產(chǎn)制造系統(tǒng)也數(shù)據(jù)化,帶到數(shù)據(jù)的平臺(tái)上。其實(shí)來(lái)了非常大的數(shù)據(jù)量,對(duì)整個(gè)數(shù)據(jù)庫(kù)的可擴(kuò)展能力有非常高的要求。對(duì)于制造領(lǐng)域,可能這個(gè)要求會(huì)更高,如果數(shù)據(jù)庫(kù)出現(xiàn)問(wèn)題,意味著整個(gè)生產(chǎn)都會(huì)受到比較大的影響。
 
剛剛從行業(yè)角度來(lái)說(shuō)整個(gè)轉(zhuǎn)型對(duì)數(shù)據(jù)庫(kù)的挑戰(zhàn)。從全球數(shù)據(jù)發(fā)展的角度來(lái)看,在過(guò)去十年里,每年以30%左右的速度在積累數(shù)據(jù),我在阿里巴巴集團(tuán)和螞蟻集團(tuán)感觸更深刻,因?yàn)槲覀兠磕攴e累的數(shù)據(jù)量要比30%高一些,尤其是在現(xiàn)在的社會(huì)下,數(shù)據(jù)庫(kù)對(duì)于存儲(chǔ)的可擴(kuò)展性、復(fù)雜能力的支持、算力的支持和要求要比以前大非常多。在這種場(chǎng)景下,就會(huì)對(duì)原來(lái)很多數(shù)據(jù)庫(kù)存儲(chǔ)產(chǎn)生非常大的挑戰(zhàn)。現(xiàn)在行業(yè)里用的大部分?jǐn)?shù)據(jù)庫(kù)誕生在上個(gè)世紀(jì)80和90年代,通常建立在存儲(chǔ)和高端硬件上,現(xiàn)在很多金融企業(yè)以及政企里很多非常核心的業(yè)務(wù)還在使用這些數(shù)據(jù)庫(kù),其實(shí)在很大程度上,無(wú)論是從性能還是從可擴(kuò)展性的角度,對(duì)整個(gè)業(yè)務(wù)都會(huì)有很大的制約。
 
我們有一個(gè)客戶是一家非常大的銀行,每周五都要做“紅色星期五”的活動(dòng),業(yè)務(wù)系統(tǒng)放在傳統(tǒng)的IBM大型機(jī)上,做這個(gè)活動(dòng)時(shí)經(jīng)常會(huì)因?yàn)榇笮蜋C(jī)出現(xiàn)問(wèn)題導(dǎo)致的抖動(dòng)。我們還有一些伙伴也比較有意思,其中一家做跨境電商的,還有一家是快手,他們遇到的問(wèn)題和挑戰(zhàn)可能會(huì)更大一點(diǎn),經(jīng)常會(huì)說(shuō)我有一個(gè)商品、有一個(gè)熱定單品,每秒鐘要處理幾萬(wàn)甚至到十萬(wàn)的請(qǐng)求量,正是基于這些挑戰(zhàn),我們?cè)谡麄€(gè)業(yè)界里也開(kāi)始有一些分布式數(shù)據(jù)庫(kù)的解決方案不斷涌現(xiàn)。
 
在我們過(guò)去合作的很多客戶里,大概看到一個(gè)現(xiàn)象,很多企業(yè)最開(kāi)始有80%的業(yè)務(wù)跑在傳統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)上,很多企業(yè)在數(shù)字化轉(zhuǎn)型過(guò)程中有80%的業(yè)務(wù)逐步切到了分布式數(shù)據(jù)庫(kù)上面。
 
今天從整個(gè)企業(yè)和企業(yè)CIO角度來(lái)看,為了應(yīng)對(duì)未來(lái)業(yè)務(wù)的發(fā)展,到底要幫助企業(yè)選擇一個(gè)什么樣的數(shù)據(jù)庫(kù),既自主可控,又能夠幫助未來(lái)企業(yè)走得更遠(yuǎn)?這是一個(gè)討論很久的話題,我站在螞蟻的角度大概從兩個(gè)角度來(lái)思考這一問(wèn)題:
 
第一,我們選型的數(shù)據(jù)庫(kù)要確實(shí)能夠幫助我們業(yè)務(wù)的發(fā)展,確實(shí)為業(yè)務(wù)提供價(jià)值。這個(gè)價(jià)值可能是多方面的,一方面是有更高的穩(wěn)定性、更好的數(shù)據(jù)質(zhì)量、更好的數(shù)據(jù)安全,數(shù)據(jù)不會(huì)丟,也不會(huì)錯(cuò),有更好的擴(kuò)展性,因?yàn)樾I(yè)務(wù)會(huì)變大,大業(yè)務(wù)會(huì)變小,不希望業(yè)務(wù)在這上面花費(fèi)特別多的精力。昨天有一個(gè)CIO講了一個(gè)詞叫優(yōu)化,站在CIO的角度,其實(shí)需要考慮整個(gè)企業(yè)的運(yùn)行效率、運(yùn)行成本,數(shù)據(jù)庫(kù)基本占整個(gè)IT花費(fèi)蠻高的,數(shù)據(jù)庫(kù)要為整個(gè)企業(yè)提供持續(xù)的低成本的服務(wù)。
 
第二,現(xiàn)在很多企業(yè)已經(jīng)有了自己的數(shù)據(jù)庫(kù)體系,以及基于數(shù)據(jù)庫(kù)的研發(fā)和運(yùn)維體系,新選型的數(shù)據(jù)庫(kù)其實(shí)要用最小的成本融入到這個(gè)體系里面,可能也有一些業(yè)務(wù),如比較大的銀行,現(xiàn)在業(yè)務(wù)遇到了容量問(wèn)題,需要遷移到新的選型的數(shù)據(jù)庫(kù)上,整個(gè)新選型的數(shù)據(jù)庫(kù)的遷移成本要足夠低。站在螞蟻集團(tuán)和阿里集團(tuán)數(shù)據(jù)庫(kù)負(fù)責(zé)人的角度,一直在思考這個(gè)問(wèn)題,正是因?yàn)榍懊嬲f(shuō)到這些問(wèn)題,所以在螞蟻集團(tuán)和阿里巴巴集團(tuán)才會(huì)孕育出OceanBase這一數(shù)據(jù)庫(kù),這其實(shí)也是我們?cè)谶^(guò)去的十年里建設(shè)數(shù)據(jù)中臺(tái)以及數(shù)據(jù)庫(kù)的基礎(chǔ)設(shè)施里,孕育了螞蟻和阿里最佳實(shí)踐的數(shù)據(jù)庫(kù)。
 
OceanBase發(fā)展歷程
 
從2010年開(kāi)始建設(shè)這個(gè)數(shù)據(jù)庫(kù),第一個(gè)業(yè)務(wù)叫做淘寶的收藏夾業(yè)務(wù),當(dāng)時(shí)在傳統(tǒng)的數(shù)據(jù)庫(kù)上已經(jīng)沒(méi)辦法支撐了,所以遷移到OceanBase上。到了2013、2014年,整個(gè)業(yè)務(wù)和整個(gè)集團(tuán)發(fā)生了比較大的戰(zhàn)略決策,即希望在未來(lái)數(shù)據(jù)化建設(shè)過(guò)程中,我們的數(shù)據(jù)庫(kù)底盤(pán)和基礎(chǔ)設(shè)施能夠自主可控,徹底擺脫對(duì)商業(yè)數(shù)據(jù)庫(kù)的依賴,我們發(fā)起了螞蟻集團(tuán)去商業(yè)數(shù)據(jù)庫(kù)的行動(dòng)。這一過(guò)程對(duì)OceanBase是很關(guān)鍵的,我們其實(shí)是把整個(gè)業(yè)務(wù)的發(fā)展以及去商業(yè)數(shù)據(jù)庫(kù)自主可控這件事情融入到了OceanBase產(chǎn)品里。
 
在OceanBase發(fā)展第三階段,是我們?cè)诎⒗锇桶头e累了這些數(shù)字化轉(zhuǎn)型以及數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施的經(jīng)驗(yàn),也是希望賦能給行業(yè)里一些伙伴,讓他們也能享受到我們以前積累的一些東西。從2017年開(kāi)始,我們和行業(yè)里的很多伙伴做了很多討論和共創(chuàng),一起做了一些項(xiàng)目。在2017年到2019年的時(shí)間里,我們清楚認(rèn)識(shí)到了一件事情,因?yàn)槲覀儤I(yè)界有很多MySQL、Oracle,需要幫助使用傳統(tǒng)數(shù)據(jù)庫(kù)的業(yè)務(wù)能夠比較簡(jiǎn)單的使用OceanBase。
 
在這一階段我們還做了一件事情,把整個(gè)數(shù)據(jù)庫(kù)的基礎(chǔ)架構(gòu)做了很大的重構(gòu)和改造,改造的結(jié)果是我們能夠在數(shù)據(jù)庫(kù)Top的benchmark里,2019年基于這一架構(gòu)超越了Oracle,做到了現(xiàn)在的世界第一,有幾十倍的差距。到了OceanBase4.0,在2020年OceanBase這家企業(yè)作為一個(gè)獨(dú)立的公司開(kāi)始商業(yè)化運(yùn)營(yíng),在這個(gè)階段,從金融走向了政企,走向了各行各業(yè),看到了很多用戶的需求,有大用戶、小用戶,有核心場(chǎng)景、非核心場(chǎng)景,支持這些用戶過(guò)程中,我們開(kāi)始逐步認(rèn)識(shí)到了如何幫助用戶去釋放數(shù)據(jù)價(jià)值這件事情的重要性。數(shù)據(jù)其實(shí)一直都在數(shù)據(jù)庫(kù)里,我們?cè)趺礃訋椭脩舭褦?shù)據(jù)的價(jià)值最大、最快發(fā)揮出來(lái),這是我們和客戶一起討論,要一起去解決的問(wèn)題。所以O(shè)ceanBase4.0叫做分布式一體化版本,很好支持在線交易業(yè)務(wù)和離線分析業(yè)務(wù)融合在一起,來(lái)支撐業(yè)務(wù),進(jìn)一步降低業(yè)務(wù)成本。
 
從OceanBase產(chǎn)品體系來(lái)看,現(xiàn)在OceanBase支持公有云部署、私有云部署,也支持混合云部署,還支持海外多云部署,我們支持市面上大部分硬件,比如ARM、x86、華為鯤鵬,大家甚至可以把OceanBase裝在一個(gè)很小的Pad里。我們希望把所有簡(jiǎn)單都留給客戶,一個(gè)OceanBase的集群既可以支持MySQL的語(yǔ)義,還可以支持Oracle的語(yǔ)義,后面可以方便做一些實(shí)時(shí)數(shù)據(jù)庫(kù)的分析。
 
從OceanBase產(chǎn)品體系來(lái)看,我們不僅支持傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)、KV數(shù)據(jù)庫(kù),還支持圖數(shù)據(jù)庫(kù)和持續(xù)數(shù)據(jù)庫(kù),這兩款數(shù)據(jù)庫(kù)誕生也是源于螞蟻和阿里巴巴在某些業(yè)務(wù)領(lǐng)域的最佳實(shí)踐,比如圖數(shù)據(jù)庫(kù),廣泛應(yīng)用在螞蟻集團(tuán)風(fēng)險(xiǎn)防控領(lǐng)域里,我們用這個(gè)數(shù)據(jù)庫(kù)把風(fēng)險(xiǎn)防控漏洞過(guò)率從十萬(wàn)分之一做到了百萬(wàn)分之一。
 
現(xiàn)在螞蟻每天大概有接近上千個(gè)業(yè)務(wù)迭代,會(huì)有上千次業(yè)務(wù)發(fā)布,這里大概會(huì)有成千上萬(wàn)次的DDL和DML(音),因?yàn)橐臄?shù)據(jù)、改模型,因?yàn)槲浵伡瘓F(tuán)有2萬(wàn)多個(gè)研發(fā),支持這些工作的人只有1~2個(gè),所有的東西基本都是被自動(dòng)化完成的,我們有些伙伴也在基于這些體系做運(yùn)維和研發(fā)流程。
 
對(duì)于一個(gè)數(shù)據(jù)庫(kù)來(lái)說(shuō),我們覺(jué)得數(shù)據(jù)的安全、數(shù)據(jù)庫(kù)的穩(wěn)定性是在企業(yè)發(fā)展任何一個(gè)階段都重要的事情,我們把數(shù)據(jù)庫(kù)安全穩(wěn)定防護(hù)分了6級(jí)4層,我們一直都堅(jiān)持所有的數(shù)據(jù)都是要經(jīng)過(guò)被充分校驗(yàn)的。第二層校驗(yàn)發(fā)生在OceanBase集群內(nèi)部的,OceanBase支持多副本強(qiáng)一致同步,我們客戶可能會(huì)把副本放在同一個(gè)城市的不同機(jī)房里,這些機(jī)房可能相距30、50公里,還有一些客戶會(huì)把OceanBase不同副本放在不同城市里,比如網(wǎng)商銀行放在相距1200公里不同的兩個(gè)城市里面。這些數(shù)據(jù)副本是做強(qiáng)一致實(shí)時(shí)同步的,任何一個(gè)副本出現(xiàn)問(wèn)題時(shí),30秒可以切到另一個(gè)副本。第三層校驗(yàn)主備庫(kù),所有副本之間強(qiáng)一致同步其實(shí)是相關(guān)聯(lián)的事件,如果出現(xiàn)bug或異常,所有副本可能出現(xiàn)同樣的問(wèn)題,但是主備庫(kù)是相互獨(dú)立的事件,兩個(gè)同時(shí)出問(wèn)題的概率非常小,所以螞蟻集團(tuán)所有的數(shù)據(jù)其實(shí)是被放了5份,既有強(qiáng)一致同步,也有主備庫(kù)的同步。最上一層防護(hù)在我過(guò)去的實(shí)踐里,幫我們擋住或發(fā)現(xiàn)了很多問(wèn)題,這一層校驗(yàn)就是備份恢復(fù),現(xiàn)在螞蟻有幾千個(gè)PB的數(shù)據(jù),我在螞蟻可以讓業(yè)務(wù)回溯到線上14天內(nèi)任意一個(gè)時(shí)間點(diǎn),如果業(yè)務(wù)把數(shù)據(jù)寫(xiě)錯(cuò)了,可以回滾到線上業(yè)務(wù)任何一個(gè)時(shí)間點(diǎn),這個(gè)事情在我們客戶里也有發(fā)生,我們用這些能力幫他恢復(fù)數(shù)據(jù)。因?yàn)槿说腻e(cuò)誤、軟件的bug不可避免,很容易會(huì)把數(shù)據(jù)寫(xiě)錯(cuò)的。
 
示例,數(shù)據(jù)庫(kù)怎么保障數(shù)據(jù)安全和數(shù)據(jù)正確
 
2018年的一個(gè)企業(yè),SSD靜默錯(cuò)誤導(dǎo)致整個(gè)企業(yè)全部數(shù)據(jù)丟失。
 
硬件廠商都會(huì)發(fā)生一些批次性故障,要么靜默數(shù)據(jù)丟失,要么SSD掉盤(pán)。因?yàn)槲覀兠磕甏蟾庞袔资f(wàn)片到上百萬(wàn)片SSD的采購(gòu),這些問(wèn)題是經(jīng)常會(huì)出現(xiàn)和發(fā)生的,在去年我經(jīng)歷了我印象非常深刻的一件事情,我們采購(gòu)了大概十幾萬(wàn)片的SSD,SSD大概有80%的概率會(huì)出現(xiàn)磁盤(pán)的靜默錯(cuò)誤,寫(xiě)進(jìn)去的數(shù)據(jù)是1,讀出來(lái)是0,告訴你這個(gè)數(shù)據(jù)寫(xiě)成功了。在去年8、9月份時(shí),非常密集的這些磁盤(pán)基本上會(huì)在同一時(shí)刻出現(xiàn)問(wèn)題。可能今天A磁盤(pán)說(shuō)這個(gè)數(shù)據(jù)壞了,明天B磁盤(pán)數(shù)據(jù)壞了,因?yàn)槲覀兦懊孀隽撕芏嗟讓拥男r?yàn),在業(yè)務(wù)上能發(fā)現(xiàn),發(fā)現(xiàn)以后會(huì)重新定向正確的副本上,包括不會(huì)失敗。其實(shí)這是非常有危險(xiǎn)的。大概因?yàn)檫@個(gè)事情,OceanBase架構(gòu),每天都會(huì)把所有的數(shù)據(jù)做checksum。
 
我們從軟件上保證數(shù)據(jù)是正確的,因?yàn)閿?shù)據(jù)庫(kù)是一個(gè)狀態(tài)級(jí),會(huì)把狀態(tài)變遷做好checksum,把主表數(shù)據(jù)、索引數(shù)據(jù)、視圖數(shù)據(jù)、主表數(shù)據(jù)做checksum,會(huì)保證任何一刻或任何一個(gè)時(shí)間點(diǎn)出現(xiàn)錯(cuò)誤,能第一時(shí)間發(fā)現(xiàn)。
 
如何建設(shè)數(shù)據(jù)中臺(tái)?通常典型的場(chǎng)景是所有業(yè)務(wù)的數(shù)據(jù)分布在不同的數(shù)據(jù)庫(kù)里,通過(guò)CDC、ETL,把所有數(shù)據(jù)回流到計(jì)算集群里,在上面構(gòu)建業(yè)務(wù)數(shù)倉(cāng)業(yè)務(wù)原型做分析。數(shù)據(jù)會(huì)存儲(chǔ)兩份,計(jì)算也會(huì)有兩份,有很大的成本。海底撈最開(kāi)始也是這樣的,在線數(shù)據(jù)要同步到離線數(shù)據(jù),再做運(yùn)算,他說(shuō)能不能讓在線數(shù)據(jù)和離線數(shù)據(jù)一起算?因?yàn)閿?shù)據(jù)本身就在那里,數(shù)倉(cāng)是否可以基于實(shí)時(shí)在線模型去做一些運(yùn)算?我們思考了很久,覺(jué)得可以,OceanBase4.0也是朝著這個(gè)架構(gòu)去做的。我們所有的數(shù)據(jù)會(huì)放在OceanBase不同的租戶里,在線請(qǐng)求和離線請(qǐng)求同時(shí)在這份數(shù)據(jù)上做計(jì)算,中間會(huì)有一些隔離保證在線的請(qǐng)求不會(huì)被離線的請(qǐng)求所影響。
 
為了更好支持HTAP在線的數(shù)據(jù)計(jì)算,我們做了行列混存,在學(xué)術(shù)里叫PAX,能給我們帶來(lái)非常大的好處,我們的數(shù)據(jù)能夠以原來(lái)1/10的成本存儲(chǔ)在磁盤(pán)上。螞蟻所有的業(yè)務(wù),支付寶、花唄、借唄、農(nóng)場(chǎng)小雞所有的數(shù)據(jù)都是放在OceanBase上的,原來(lái)都是放在MySQL,這個(gè)數(shù)據(jù)遷過(guò)來(lái),節(jié)省了2/3的成本,對(duì)一家企業(yè)來(lái)說(shuō)這個(gè)成本是非常可觀的。
 
在整個(gè)企業(yè)數(shù)字化轉(zhuǎn)型過(guò)程中或在整個(gè)企業(yè)生長(zhǎng)發(fā)展過(guò)程中一定遇到很多問(wèn)題,大家一定會(huì)有很多創(chuàng)新的想法,而這個(gè)想法開(kāi)始可能只是原型,未來(lái)可能會(huì)變得很大。過(guò)去幾十年我看到很多這樣的業(yè)務(wù),也有因?yàn)闃I(yè)務(wù)發(fā)展原因或戰(zhàn)略原因,開(kāi)始逐步收縮。我們?cè)谶^(guò)去的實(shí)踐里花費(fèi)了非常大的精力去幫助技術(shù)能夠?qū)崿F(xiàn)業(yè)務(wù)上的skill,這個(gè)投入非常大。螞蟻和阿里巴巴在2015、2016年前,大部分技術(shù)都在做這個(gè)事情,我希望我們?cè)谖浵伜桶⒗锓e累的這方面經(jīng)驗(yàn)?zāi)軌蚱交剡w移到我們行業(yè)里面,行業(yè)的同學(xué)只需要關(guān)注行業(yè),發(fā)展好業(yè)務(wù)就可以了。
 
OceanBase是支持副本的,天生可以做一件事情,我和伙伴們交流,他們新引進(jìn)一個(gè)硬件,硬件出現(xiàn)一大堆問(wèn)題,或者企業(yè)想換一個(gè)OS,不知道這個(gè)東西對(duì)我的數(shù)據(jù)庫(kù)穩(wěn)定性到底有多大影響?我們提供這種能力,可以幫助大家灰度驗(yàn)證新硬件、操作系統(tǒng),驗(yàn)證以后做大批量推廣覆蓋,對(duì)整個(gè)業(yè)務(wù)來(lái)說(shuō)沒(méi)有任何感知。
 
經(jīng)過(guò)幾年的打磨,有兩個(gè)數(shù)據(jù)分享給大家:
 
1.現(xiàn)在最大的節(jié)點(diǎn)規(guī)模大概有1000臺(tái)。
 
2.現(xiàn)在最大的集群應(yīng)該有15PB,也是在做數(shù)據(jù)中臺(tái)的業(yè)務(wù),所有數(shù)據(jù)大概有15PB,上面有非常多的計(jì)算。
 
我們非常注重生態(tài)和伙伴的建設(shè),特別想說(shuō)兩點(diǎn):
 
1.我們?cè)谛袠I(yè)方面的伙伴,我們和政企、金融行業(yè)大概有TOP40家企業(yè)做了深度融合,深度產(chǎn)品層面的融合,簡(jiǎn)單來(lái)說(shuō)就是我在數(shù)據(jù)庫(kù)里幫他定制很多feature,幫助這些業(yè)務(wù)解決以前在傳統(tǒng)商業(yè)數(shù)據(jù)庫(kù)或者單體數(shù)據(jù)庫(kù)很難解決的問(wèn)題。
 
2.OceanBase這家公司一直在做相關(guān)人才的建設(shè),現(xiàn)在有1
 
萬(wàn)多注冊(cè)工程師,每年大概會(huì)投入幾千萬(wàn)和校企做聯(lián)合、做大學(xué)生的培養(yǎng)。
 
從金融到現(xiàn)在,走向全球各行各業(yè),有400多個(gè)客戶,比較有特點(diǎn),基本上OceanBase在里面做的都是核心系統(tǒng),比如銀行的貸記核心、借記核心,運(yùn)營(yíng)商領(lǐng)域的CRM和BOS核心,這里可能有很多l(xiāng)ogo大家都很熟悉,這些logo可能都很大,但是有很多l(xiāng)ogo很小,有很多l(xiāng)ogo是和OceanBase一起成長(zhǎng)起來(lái)的。
 
做基礎(chǔ)設(shè)施出身的人非常容易做一件事情,老是覺(jué)得這個(gè)技術(shù)不太行,升級(jí)一下。我現(xiàn)在有一個(gè)非常大的轉(zhuǎn)變,不管做什么,要適應(yīng)業(yè)務(wù)發(fā)展的需要。過(guò)去三年多,OceanBase完成了非常大的轉(zhuǎn)身,不只是可以在螞蟻或工商銀行、建設(shè)銀行、交通銀行這樣非常大的場(chǎng)景里運(yùn)行,也可以在非常小的場(chǎng)景里運(yùn)行,比如我們之前做了很多小區(qū)門(mén)口小的閘機(jī)。
 
案例分享
 
案例1,中石化在全中國(guó)有2億張加油卡,每天有3000萬(wàn)筆交易量,由于歷史原因,中石化架構(gòu)有點(diǎn)奇怪,有22個(gè)省用Sybase建設(shè)的,其他的用Oracle來(lái)建設(shè)的。需要把二三十個(gè)不同的數(shù)據(jù)庫(kù)遷移到SybaseIQ上做分析。這20~30個(gè)省有寫(xiě)業(yè)務(wù)量大、有些業(yè)務(wù)量小,有非常大的浪費(fèi)。因?yàn)槭且粋€(gè)分散化的架構(gòu),每一個(gè)不同的省市可能用了不同版本的業(yè)務(wù),造成一個(gè)問(wèn)題,我是從杭州來(lái)的,要去北京或四川加油,業(yè)務(wù)邏輯非常復(fù)雜,先到北京的業(yè)務(wù),再到四川的業(yè)務(wù)。
 
在這里還有一個(gè)比較大的挑戰(zhàn)可能更麻煩,其實(shí)每天有3000萬(wàn)筆交易量,如果出問(wèn)題,對(duì)所有開(kāi)車(chē)的朋友影響還是比較大的,整個(gè)石化一直想做業(yè)務(wù)異地容災(zāi),分散在很多省里,要做這件事情的成本非常高,基本不可能。我們和石化的小伙伴做了很多交流和討論,也把我們以前在螞蟻和阿里的一些經(jīng)驗(yàn)放到他們的異地災(zāi)備和單元化多活方案里。最終方案也比較簡(jiǎn)單,他們北京有一個(gè)中心、南京有一個(gè)中心,每個(gè)中心會(huì)承擔(dān)一部分省市的業(yè)務(wù)數(shù)據(jù),但是這兩個(gè)中心是多活的,每個(gè)中心有一個(gè)OceanBase的數(shù)據(jù)庫(kù),數(shù)據(jù)在這兩個(gè)中心通過(guò)我們一個(gè)產(chǎn)品做實(shí)時(shí)的同步,一個(gè)中心出現(xiàn)故障,可以快速切到另外一個(gè)中心。除此之外,是HTAP能力。
 
案例2,運(yùn)營(yíng)商業(yè)務(wù),山東省是運(yùn)營(yíng)商的第二大人口省,每天大概要處理130億條數(shù)據(jù),數(shù)據(jù)量挺大。隨著5G和IoT的發(fā)展,運(yùn)營(yíng)商在很多用戶增長(zhǎng)比較快的地方以及新的場(chǎng)景上遇到了瓶頸,因?yàn)橄到y(tǒng)很早建造的,是基于Oracle,就面臨兩個(gè)選擇,一是把所有的運(yùn)營(yíng)商業(yè)務(wù)重構(gòu),基于新的數(shù)據(jù)庫(kù)系統(tǒng)做一次建設(shè);二是找一個(gè)能夠水平可轉(zhuǎn)的數(shù)據(jù)庫(kù)解決當(dāng)下的問(wèn)題。在運(yùn)營(yíng)商領(lǐng)域業(yè)務(wù)非常復(fù)雜,有很多復(fù)雜的查詢,還有很多Oracle的高階特性,對(duì)任意數(shù)據(jù)庫(kù)的挑戰(zhàn)都很大,我們做了很多次溝通,最終覺(jué)得可以一起嘗試一下,把Oracle平滑遷移到OceanBase,解決業(yè)務(wù)遇到的容量問(wèn)題。最終這個(gè)業(yè)務(wù)經(jīng)過(guò)大概幾個(gè)月的努力,花了一個(gè)小時(shí)就完成了整個(gè)業(yè)務(wù)的切割,切割以后,BOS詳單查詢效率提升了30%,存儲(chǔ)成本降低了90%,變成了原來(lái)的1/10。這個(gè)項(xiàng)目獲得了工信部2002年網(wǎng)絡(luò)安全技術(shù)示范獎(jiǎng)。
 
案例3,致歐家居,現(xiàn)在跨境電商比較火爆,我們合作伙伴致歐現(xiàn)在是亞馬遜亞洲最大的電商伙伴,進(jìn)入了50多個(gè)國(guó)家,它的業(yè)務(wù)部署在私有云、公有云,包括阿里云和AWS上,他想做任何一件事情都很困難,因?yàn)楹芏鄻I(yè)務(wù)系統(tǒng)是采購(gòu)的,它利用OceanBase混合云和多租戶的架構(gòu),把所有的數(shù)據(jù)都匯聚到了香港阿里云的OceanBase上,把它在歐洲、北美所有的AWS數(shù)據(jù)庫(kù)遷移到OceanBase,我們幫它做了一個(gè)一體化的數(shù)倉(cāng)。
 
案例4,理想汽車(chē),L9MES系統(tǒng)是基于OceanBase的,MES系統(tǒng)對(duì)穩(wěn)定性的要求非常高。
 
OceanBase走過(guò)來(lái)大概有十年時(shí)間,我們一直堅(jiān)持一件事情是希望把復(fù)雜的東西留給我們自己,讓用戶可以比較簡(jiǎn)單地做創(chuàng)新,讓用戶更好地去發(fā)掘數(shù)據(jù)的價(jià)值。
 
謝謝大家!

關(guān)鍵字:數(shù)字化轉(zhuǎn)型

原創(chuàng)文章 企業(yè)網(wǎng)D1Net

電子周刊
回到頂部

關(guān)于我們聯(lián)系我們版權(quán)聲明隱私條款廣告服務(wù)友情鏈接投稿中心招賢納士

企業(yè)網(wǎng)版權(quán)所有 ©2010-2024 京ICP備09108050號(hào)-6 京公網(wǎng)安備 11010502049343號(hào)

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 玉山县| 昌平区| 田林县| 裕民县| 沐川县| 黄龙县| 宜丰县| 南川市| 榆树市| 长海县| 兰州市| 潮州市| 讷河市| 天峻县| 平邑县| 柞水县| 贵溪市| 威信县| 东乡| 玉山县| 旺苍县| 宣武区| 高平市| 伊春市| 肇州县| 武义县| 金山区| 乌拉特中旗| 屯昌县| 瑞金市| 教育| 六盘水市| 蚌埠市| 兴隆县| 镇雄县| 宁安市| 乐清市| 乐清市| 集贤县| 磴口县| 延庆县|