老實(shí)說,大數(shù)據(jù)是一樁大生意, Wikibon預(yù)計(jì)其將以每年31%的速度增長,并在2017年達(dá)到50億美元的銷售額。雖然迄今為止,大量砸入大數(shù)據(jù)的投資都猶如石沉大海。今年早些時(shí)候,InfoChimps的調(diào)研結(jié)果顯示55%的大數(shù)據(jù)項(xiàng)目都遭受失敗。
大數(shù)據(jù)思辨( Think Big Analytics)公司的CEO Bodkin指出,大部分大數(shù)據(jù)項(xiàng)目的失敗都可以歸結(jié)到幾點(diǎn)原因:無明確的商業(yè)目標(biāo),未結(jié)合實(shí)際業(yè)務(wù)需求、不足的預(yù)算、缺少規(guī)劃以及未指定項(xiàng)目的實(shí)施范圍。(數(shù)據(jù)分析技術(shù)的缺乏只會讓大數(shù)據(jù)在未來五年內(nèi)的前景更不樂觀。)就算是那些現(xiàn)在成功的大數(shù)據(jù)項(xiàng)目,也很可能因未能給業(yè)務(wù)運(yùn)營帶來實(shí)時(shí)效益,而不被IT部門之外的人理解,最終導(dǎo)致失敗。
大數(shù)據(jù)項(xiàng)目的花費(fèi)來源于銷售業(yè)績,但它創(chuàng)造的價(jià)值存在于物流和金融。據(jù)塔塔咨詢服務(wù)的調(diào)研報(bào)告《最新的大數(shù)據(jù)回報(bào)形式》顯示,全球各地的企業(yè)主要把大數(shù)據(jù)的投資放在銷售、市場和用戶服務(wù)上。但其實(shí)說為的大數(shù)據(jù)金礦,是分布在企業(yè)業(yè)務(wù)的各個角落里的。例如,最有潛力的利益回報(bào)就包括發(fā)掘客戶需求和客戶價(jià)值,產(chǎn)品質(zhì)量、活動效果和存貨追蹤。
如何用大數(shù)據(jù)來減少客戶流失
Bodkin著重提到了兩點(diǎn)。首先是關(guān)于互聯(lián)網(wǎng)的,在這里我們可以從智能終端和聯(lián)網(wǎng)設(shè)備上搜集到必須的數(shù)據(jù)信息,來促進(jìn)銷售、提供項(xiàng)目管理決策、提高生產(chǎn)率、減少浪費(fèi)和驅(qū)動通用公司談到的“工業(yè)互聯(lián)網(wǎng)”。
其次是醫(yī)療保健,也就是常常被人談?wù)摰降慕】诞a(chǎn)業(yè)的“口袋發(fā)明”,基因研究和穿戴設(shè)備技術(shù)都將在醫(yī)患關(guān)系中起到核心的改變。
“可穿戴設(shè)備其實(shí)已經(jīng)有很多,但最大的挑戰(zhàn)還是在于將分散的設(shè)備中的數(shù)據(jù)集成起來,構(gòu)建出一個綜合的圖表,來顯示病人的健康狀況。”Bodkin 如是說。但有這些還遠(yuǎn)遠(yuǎn)不夠,下一步是再將個人的心率、飲食習(xí)慣、運(yùn)動、睡眠習(xí)慣數(shù)據(jù)整合進(jìn)來,描繪出一幅完整的健康圖表。
“醫(yī)療保健科技的難點(diǎn)在于其信息互通和集成,但精確的個人健康狀況報(bào)告和建議所帶來的價(jià)值將遠(yuǎn)遠(yuǎn)超過與一年一度的體檢。這將是大數(shù)據(jù)價(jià)值的重要體現(xiàn)。”Bodkin說道。犯規(guī)來,這也將大大提升人們參與到數(shù)據(jù)收集的工作中去。
大數(shù)據(jù)的下一步該怎么走?
Bodkin告訴我們,大數(shù)據(jù)項(xiàng)目的下一步應(yīng)該不僅僅是將數(shù)據(jù)搜集起來,而是要迅速將其轉(zhuǎn)化為預(yù)測性分析、自動商務(wù)決策并把它當(dāng)成一種資本投入到商業(yè)中。
同時(shí),在不同的渠道提供相同的消費(fèi)體驗(yàn),也更加有利于客戶關(guān)系的維護(hù)。他們會真心感謝公司能夠360度地照顧到他們的感受,無論是在網(wǎng)上、手機(jī)上或者實(shí)體的活動中。
隨著大數(shù)據(jù)技術(shù)在接下來的五年里日趨成熟,為了讓數(shù)據(jù)分析能更上一層樓,我們需要加速集成大數(shù)據(jù)的”單點(diǎn)應(yīng)用“。他們需要進(jìn)行比現(xiàn)在更復(fù)雜得多的數(shù)學(xué)運(yùn)算,Bodkin說道。可喜的是,這種技術(shù)講越來越普及,就像基本的計(jì)算機(jī)操作一樣。
浪擎科技作為國內(nèi)最大的備份容災(zāi)軟件廠商,始終致力于各種數(shù)據(jù)實(shí)時(shí)備份、數(shù)據(jù)庫實(shí)時(shí)復(fù)制技術(shù)研發(fā)的廠商,具備完整的技術(shù)架構(gòu)和多系列的產(chǎn)品。既有高端的基于應(yīng)用層的、備端在線的鏡像系統(tǒng),以及基于私有云架構(gòu)的大型災(zāi)備中心方案,又有基于邏輯卷層的實(shí)時(shí)數(shù)據(jù)復(fù)制產(chǎn)品,還有容錯CDP級的產(chǎn)品線。
下面就浪擎科技的各種核心技術(shù)在大數(shù)據(jù)方面的應(yīng)用來展開說明。
一、 浪擎現(xiàn)有的、核心的數(shù)據(jù)復(fù)制、傳輸技術(shù)
浪擎科技基于已有的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的復(fù)制傳輸技術(shù)來探討大數(shù)據(jù)傳輸?shù)膶?shí)現(xiàn)按。浪擎現(xiàn)有的核心關(guān)鍵技術(shù):
1)分布式并行傳輸,后續(xù)“靜態(tài)的非結(jié)構(gòu)化數(shù)據(jù)的復(fù)制、移動”說明。
并行傳輸?shù)墓ぷ髟砥鋵?shí)是先分后合的數(shù)據(jù)處理方式。分解:把海量數(shù)據(jù)分割成了若干部分,分給多臺處理器并行傳輸;合并:把各臺處理器傳輸后的結(jié)果進(jìn)行匯總操作以得到最終結(jié)果。
2)重復(fù)數(shù)據(jù)刪除,后續(xù)“靜態(tài)的非結(jié)構(gòu)化數(shù)據(jù)的復(fù)制、移動”說明)。
浪擎科技的基于文件塊的增量傳輸技術(shù)可以在源端刪除90% 的冗余備份和歸檔數(shù)據(jù),這種方式將目標(biāo)端存儲中的重復(fù)數(shù)據(jù)刪除,將網(wǎng)絡(luò)中發(fā)送的數(shù)據(jù)量銳減90%,藉此顯著加快將大量備份或歸檔數(shù)據(jù)遷移的速度。
3)結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)感知與捕捉,后續(xù)“動態(tài)的結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)復(fù)制、移動”章節(jié)說明。
4)活動的、結(jié)構(gòu)化數(shù)據(jù)的追逐式復(fù)制,后續(xù)“動態(tài)的結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)復(fù)制、移動”章節(jié)說明。
通過使用分布式并行傳輸控制、鏡像復(fù)制技術(shù)、重復(fù)數(shù)據(jù)刪除等技術(shù),可以顯著縮短了遷移大量數(shù)據(jù)所需的時(shí)間。以下章節(jié)詳細(xì)說明非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)復(fù)制、移動。
二、 靜態(tài)的非結(jié)構(gòu)化數(shù)據(jù)的復(fù)制、移動
非結(jié)構(gòu)化數(shù)據(jù)一般指文件類型數(shù)據(jù),如音視頻文件、office文件、網(wǎng)頁文件、CAD制圖文件、科研數(shù)據(jù)等等,以及現(xiàn)在互聯(lián)網(wǎng)各種應(yīng)用產(chǎn)生的數(shù)據(jù)大多以文件形態(tài)來存儲。
浪擎科技的文件傳輸通信協(xié)議(OFTP),是浪擎科技為滿足大規(guī)模的數(shù)據(jù)傳輸歷經(jīng)四年自主研發(fā)的一種高效傳輸協(xié)議,簡稱OFTP,可應(yīng)用在長距離、低可靠性的窄帶網(wǎng)絡(luò)上進(jìn)行數(shù)據(jù)傳輸復(fù)制。
1. 浪擎的文件傳輸通信協(xié)議(OFTBP)
協(xié)議具備以下技術(shù)特性:
√ 并行優(yōu)化增量傳輸
√ 數(shù)據(jù)壓縮
√ 傳輸一致性校驗(yàn)
√ 網(wǎng)絡(luò)斷開自動重連
√ 數(shù)據(jù)包丟失自動重排重發(fā)等
目前,一般的數(shù)據(jù)傳輸協(xié)議,如傳統(tǒng)的 FTP協(xié)議或RCP協(xié)議,在進(jìn)行網(wǎng)絡(luò)傳輸?shù)倪^程中存在著很多弊端。如傳輸?shù)臄?shù)據(jù)量、性能、準(zhǔn)確性等都不能達(dá)到TB設(shè)置PB級要求。與這些傳統(tǒng)的傳輸協(xié)議相比較,在安全性、可靠性、承載能力、擴(kuò)展性上具有明顯的優(yōu)勢。
OFTBP協(xié)議包含消息頭和消息主體兩個部分。消息頭對消息主體進(jìn)行描述,包括文件名稱、大小、文件屬性集合、傳輸算法等字段;消息主體存放需要傳輸?shù)臄?shù)據(jù)包。為減少不必要的傳輸量,在編碼時(shí)可對數(shù)據(jù)包進(jìn)行壓縮;為確保在傳輸過程中的一致性和準(zhǔn)確性,必需對數(shù)據(jù)包進(jìn)行傳輸一致性校驗(yàn)。校驗(yàn)碼是根據(jù)傳輸數(shù)據(jù)按特定摘要算法生成,附在數(shù)據(jù)包后。鏡像服務(wù)器收到數(shù)據(jù)包再按照摘要算法生成一個校驗(yàn)碼,與傳送來的校驗(yàn)碼進(jìn)行比較,從而確定數(shù)據(jù)的一致性和準(zhǔn)確性。如果不匹配,則要求重傳。
OFTBP協(xié)議與算法必需滿足這樣的需求:
√ 網(wǎng)絡(luò)傳輸緩沖區(qū)自適應(yīng)管理能力,根據(jù)文件大小自動調(diào)節(jié)網(wǎng)絡(luò)傳輸窗口大小。
√ 多連接并行傳輸,可支持多個連接傳輸。
√ 增量傳輸,兩端相同的文件不需要傳輸,僅傳輸不同文件塊。
√ 網(wǎng)絡(luò)連接重連技術(shù),當(dāng)網(wǎng)絡(luò)連接失敗時(shí)重新連接。
√ 智能分塊技術(shù),使得傳輸流量均分到每個連接上。
√ 文件分塊傳輸(部分文件傳輸),可支持并行傳輸和斷點(diǎn)續(xù)傳。
√ 文件滑動摘要計(jì)算技術(shù),使計(jì)算負(fù)荷和文件I/O符合降到最低。
√ 文件完整性校驗(yàn),保證傳輸完成后兩端文件一致。
2. 并行優(yōu)化增量傳輸技術(shù)(POIT)
文件傳輸采用復(fù)雜的并行優(yōu)化增量傳輸算法實(shí)現(xiàn)大規(guī)模的文件系統(tǒng)復(fù)制。該算法對傳輸任務(wù)智能分解成更小的任務(wù),然后并行控制傳輸,最大限度的利用可利用的網(wǎng)絡(luò)帶寬;其次,對于已經(jīng)鏡像過的文件在以后鏡像時(shí),將采用優(yōu)化增量傳輸,僅復(fù)制不同的數(shù)據(jù)塊,盡量降低網(wǎng)絡(luò)流量,極大的提升傳輸速度。
增量傳輸算法采用基于文件塊的比較,即在滑動窗口控制下對文件分塊和對塊作摘要運(yùn)算,然后逐塊比較摘要,只傳輸不同文件塊。
▲
增量傳輸示意圖
增量傳輸算法主要的過程如下:
分塊checksum
將目標(biāo)端的數(shù)據(jù)按照定量分塊,比如512字節(jié)一塊。并且對每一塊分別進(jìn)行checksum。然后將所有checksum傳回到源端。
哈希checksum查找比對
源端將目標(biāo)端傳輸過來的checksum放入哈希 Table。并且同樣開始進(jìn)行分塊checksum,在每一塊checksum結(jié)果產(chǎn)生后在哈希Table中查找。如果找到對應(yīng)記錄,那么表明這一塊數(shù)據(jù)兩邊完全一致,無需傳輸。反之表明這一塊數(shù)據(jù)中有不相同的數(shù)據(jù),需要傳輸。
3. 文件變化實(shí)時(shí)感知檢測(FRP)
鏡像代理內(nèi)嵌各種操作系統(tǒng)的虛擬文件系統(tǒng)驅(qū)動程序。在Winows操作系統(tǒng)上根據(jù)WDM驅(qū)動程序模型實(shí)現(xiàn)文件系統(tǒng)過濾驅(qū)動程序;在Linux、AIX、Solaris等操作系統(tǒng)上通過內(nèi)核模塊實(shí)現(xiàn)虛擬文件系統(tǒng)過濾驅(qū)動程序。在運(yùn)行時(shí),鏡像代理向操作系統(tǒng)注冊并請求加載該驅(qū)動程序。在載入操作系統(tǒng)后,該驅(qū)動程序?qū)崟r(shí)捕獲文件系統(tǒng)的操作動作,從而使得文件鏡像可以實(shí)時(shí)感知文件的變化,而無需極耗資源的輪詢文件系統(tǒng)來獲取變化。
4. 支持功能
并行傳輸
對于文件或目錄均可實(shí)現(xiàn)傳輸任務(wù)智能分解,然后并行控制傳輸。
增量傳輸
采用基于文件塊的優(yōu)化增量傳輸技術(shù),僅傳輸和目標(biāo)文件不同的文件塊,盡量減少在網(wǎng)絡(luò)上的傳輸流量。
重復(fù)數(shù)據(jù)刪除
在數(shù)據(jù)傳輸之前或之后對數(shù)據(jù)進(jìn)行分析,將傳輸或存儲一份相同的數(shù)據(jù)。減少數(shù)據(jù)傳輸量以及數(shù)據(jù)存儲占用量。
斷點(diǎn)續(xù)傳
支持?jǐn)帱c(diǎn)續(xù)傳功能,當(dāng)傳輸某文件失敗,下一次重新傳輸時(shí),在優(yōu)化增量傳輸控制下,將從上一次的傳輸點(diǎn)開始傳輸后續(xù)的文件塊。
文件變化實(shí)時(shí)感知檢測
鏡像代理內(nèi)嵌各種文件系統(tǒng)的驅(qū)動程序。在運(yùn)行時(shí),該驅(qū)動程序?qū)崟r(shí)捕獲文件系統(tǒng)的操作動作,從而使得文件備份可以實(shí)時(shí)感知文件的變化,而無需極耗資源的輪詢文件系統(tǒng)來獲取變化。
可選定文件或目錄來復(fù)制或移動
系統(tǒng)支持僅備份指定的文件或目錄;也可采用修改時(shí)間、大小、文件或目錄名組成正則表達(dá)式進(jìn)行過濾。并可過濾指定的文件動作,例如過濾刪除動作,不刪除目標(biāo)文件或目錄。
支持各種文件格式
支持Office文檔格式、HTML、TXT、PDF;
支持音視頻文件格式;
支持其他二進(jìn)制文件格式;
支持大文件備份
系統(tǒng)采用64位表達(dá)文件長度尺寸,支持超過2GB的大文件傳輸備份,例如500GB大小的文件。
支持異構(gòu)操作系統(tǒng)平臺之間的傳輸備份
系統(tǒng)支持在不同操作系統(tǒng)之間的傳輸備份和存儲。例如,將Windows的Office文檔傳輸備份至AIX;或?qū)olaris的二進(jìn)制數(shù)據(jù)文件傳輸備份至AIX。
數(shù)據(jù)傳輸一致性和準(zhǔn)確性校驗(yàn)
確保文件在傳輸后與源端的文件一致相同。
5. 應(yīng)用場合
√ 擁有TB級別以上數(shù)據(jù)的醫(yī)療系統(tǒng)(如PACS)
√ 檔案文檔中心
√ 互聯(lián)網(wǎng)的非結(jié)構(gòu)化數(shù)據(jù)(NOSQL)移動
三、 動態(tài)的結(jié)構(gòu)化數(shù)據(jù)(數(shù)據(jù)庫)的實(shí)時(shí)復(fù)制、移動
動態(tài)變化的數(shù)據(jù)通常指在線業(yè)務(wù)系統(tǒng)的存儲數(shù)據(jù),例如,證券交易的數(shù)據(jù)、社交網(wǎng)絡(luò)的聊天數(shù)據(jù)、電信的計(jì)費(fèi)數(shù)據(jù)、醫(yī)療的HIS數(shù)據(jù)、電子商務(wù)的交易數(shù)據(jù)等等。這些業(yè)務(wù)系統(tǒng)都非常關(guān)鍵,支撐國民經(jīng)濟(jì)的正常運(yùn)行,因此要保障其自身的安全與穩(wěn)定。但是,這些業(yè)務(wù)系統(tǒng)的要求非??量蹋匦枰羞m合這些用戶群體的技術(shù)才能滿足其需求。
浪擎科技的雙活數(shù)據(jù)復(fù)制技術(shù)正是滿足這樣的需求。一般而言,這些關(guān)鍵業(yè)務(wù)系統(tǒng)都把數(shù)據(jù)放到后臺的關(guān)系數(shù)據(jù)庫中,因此可以稱這些數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)。浪擎科技的雙活數(shù)據(jù)復(fù)制技術(shù)其實(shí)質(zhì)就是動態(tài)的、實(shí)時(shí)的從一個關(guān)系數(shù)據(jù)庫復(fù)制或遷移到另外一個關(guān)系數(shù)據(jù)庫。當(dāng)然,目標(biāo)關(guān)系數(shù)據(jù)庫可以放置到異地。
關(guān)系數(shù)據(jù)庫的數(shù)據(jù)復(fù)制、移動必需滿足這樣的要求:
√ 適應(yīng)業(yè)務(wù)系統(tǒng)7×24小時(shí)不間斷運(yùn)行的特點(diǎn);
√ 必須保證源端數(shù)據(jù)庫與目標(biāo)端數(shù)據(jù)庫的一致性和完整性;
√ 無需停止業(yè)務(wù)、無需申請停機(jī)時(shí)間;
√ 數(shù)據(jù)的丟失控制在60秒以內(nèi);
√ 必須支持兩端硬件環(huán)境的異構(gòu),目標(biāo)端的服務(wù)器選型、磁盤陣列選型不受現(xiàn)有源端的限制;
√ 可實(shí)現(xiàn)分布復(fù)制,即多對一的復(fù)制、移動;
數(shù)據(jù)庫復(fù)制采用ACA(應(yīng)用捕獲與分析)引擎,實(shí)時(shí)捕獲源端生產(chǎn)系統(tǒng)的生產(chǎn)數(shù)據(jù),然后解析成數(shù)據(jù)庫記錄,然后再通過目標(biāo)端存儲進(jìn)程保存到目標(biāo)數(shù)據(jù)庫中,且保持目標(biāo)數(shù)據(jù)庫實(shí)例的可用性。
6. 浪擎科技的核心技術(shù)——ACA引擎工作原理
1)復(fù)制引擎架構(gòu)
數(shù)據(jù)庫復(fù)制引擎包括代理、復(fù)制服務(wù)器軟件兩大部件。代理包含操作系統(tǒng)驅(qū)動程序、事務(wù)日志實(shí)時(shí)捕獲器、事務(wù)日志分析器、傳輸控制器和任務(wù)隊(duì)列等;復(fù)制服務(wù)器包含接收隊(duì)列、SQL應(yīng)用機(jī)構(gòu)等。
2)復(fù)制流程
事務(wù)日志實(shí)時(shí)捕獲器通過操作系統(tǒng)內(nèi)核驅(qū)動驅(qū)動程序?qū)崟r(shí)監(jiān)控源數(shù)據(jù)庫事務(wù)日志文件和捕獲其變化數(shù)據(jù);事務(wù)日志分析器通過數(shù)據(jù)字典將日志數(shù)據(jù)解析還原成數(shù)據(jù)庫記錄,并過濾不需要復(fù)制的表或其他數(shù)據(jù)庫對象;傳輸控制器從任務(wù)隊(duì)列中取出記錄數(shù)據(jù)傳輸至復(fù)制服務(wù)器。復(fù)制服務(wù)器接收隊(duì)列將記錄數(shù)據(jù)保存至事務(wù)隊(duì)列和Snapshot文件中;SQL應(yīng)用機(jī)構(gòu)掃描事務(wù)隊(duì)列,將提交事務(wù)應(yīng)用到目標(biāo)實(shí)例。如下圖所示。
▲
數(shù)據(jù)庫復(fù)制原理示意圖
3)傳輸控制
傳輸控制器記錄當(dāng)前傳輸成功的事務(wù)序列號。當(dāng)連接中斷等因素導(dǎo)致傳輸失敗,傳輸控制則停止傳輸工作,嘗試連接直到連接成功,然后從上一次傳輸成功點(diǎn)接著傳輸。
4)全量復(fù)制
全量同步采用全量復(fù)制技術(shù)(參見后續(xù)說明)實(shí)現(xiàn),將源數(shù)據(jù)庫備份出來,還原至目標(biāo)數(shù)據(jù)庫,實(shí)現(xiàn)源和目標(biāo)數(shù)據(jù)庫基準(zhǔn)一致。
5)目標(biāo)數(shù)據(jù)庫狀態(tài)
目標(biāo)數(shù)據(jù)庫處于運(yùn)行狀態(tài),可讀可查詢,運(yùn)行的目標(biāo)系統(tǒng)保證了系統(tǒng)的一致性。
7. 浪擎科技的核心技術(shù)——追逐式全量復(fù)制
在實(shí)時(shí)增量復(fù)制之前,需要保障主、備數(shù)據(jù)庫之間的數(shù)據(jù)同步,才能進(jìn)行后續(xù)實(shí)時(shí)增量復(fù)制。
追逐式復(fù)制定義:
追逐式復(fù)制:在完全無需停止業(yè)務(wù)數(shù)據(jù)庫的條件下,極快的將源數(shù)據(jù)庫全量復(fù)制或遷移到目標(biāo)容災(zāi)服務(wù)器。追逐式復(fù)制技術(shù)把源數(shù)據(jù)庫所有事務(wù),包括緩存數(shù)據(jù)全部復(fù)制到目標(biāo)端,并且對全量復(fù)制過程中新增的數(shù)據(jù)做增量復(fù)制,以達(dá)到源與目標(biāo)服務(wù)器數(shù)據(jù)完全一致的容災(zāi)要求。
數(shù)據(jù)庫追逐式復(fù)制有以下技術(shù)特性:
1)復(fù)制速度快 追逐式復(fù)制相當(dāng)于兩個數(shù)據(jù)庫之間直接傳輸數(shù)據(jù),經(jīng)測試追逐式復(fù)制速度比使用DTS導(dǎo)入/導(dǎo)出或快照發(fā)布的復(fù)制技術(shù)至少快20倍,可有效的提高復(fù)制效率,節(jié)省系統(tǒng)資源。
2)源數(shù)據(jù)庫無需停頓,在線式直接復(fù)制 比傳統(tǒng)的數(shù)據(jù)庫復(fù)制技術(shù)更據(jù)優(yōu)勢,傳統(tǒng)的數(shù)據(jù)庫復(fù)制方式都需要先停止數(shù)據(jù)庫再進(jìn)行復(fù)制操作,當(dāng)進(jìn)行全量復(fù)制操作時(shí),業(yè)務(wù)系統(tǒng)要停止工作,可能會對用戶使用造成很大麻煩,而追逐式復(fù)制就避免了這種情況,它在做全量復(fù)制時(shí)數(shù)據(jù)庫無需停止,有效保證業(yè)務(wù)系統(tǒng)持續(xù)運(yùn)行,不會對用戶造成損失。
3)保證源服務(wù)器數(shù)據(jù)與目標(biāo)服務(wù)器數(shù)據(jù)完全一致 全量復(fù)制技術(shù)結(jié)合增量復(fù)制技術(shù)可實(shí)現(xiàn)在做全量復(fù)制的同時(shí)也可把新增的數(shù)據(jù)內(nèi)容復(fù)制到目標(biāo)端,確保源服務(wù)器和目標(biāo)服務(wù)器數(shù)據(jù)完全一致。
追逐式復(fù)制技術(shù)原理:
1) 在源數(shù)據(jù)庫端全量備份數(shù)據(jù)庫
2)將全量備份數(shù)據(jù)傳輸至目標(biāo)服務(wù)器
3)還原全量備份至目標(biāo)數(shù)據(jù)庫
4)找出全量備份中的最大日志序列號
5)以該日志序列號開始后續(xù)增量復(fù)制
8. 技術(shù)特性
▲
9. 主要實(shí)現(xiàn)功能
實(shí)時(shí)單向數(shù)據(jù)復(fù)制,單向復(fù)制以主服務(wù)器系統(tǒng)作為復(fù)制的數(shù)據(jù)源,復(fù)制到備用數(shù)據(jù)庫用于查詢。
定時(shí)全量復(fù)制計(jì)劃,系統(tǒng)還提供便捷的定時(shí)全量復(fù)制計(jì)劃。復(fù)制計(jì)劃作業(yè)可配置信息字段:開始時(shí)間、結(jié)束時(shí)間和日期以及在這段時(shí)間之內(nèi)的復(fù)制頻率、需要復(fù)制數(shù)據(jù)庫。
數(shù)據(jù)一致性校驗(yàn),系統(tǒng)提供對復(fù)制的表進(jìn)行數(shù)據(jù)一致性校驗(yàn),并修改目標(biāo)表的數(shù)據(jù)。這種補(bǔ)償性能力解決當(dāng)復(fù)制系統(tǒng)停止時(shí),源和目標(biāo)產(chǎn)生的不一致性。
10.應(yīng)用場合
對業(yè)務(wù)系統(tǒng)能夠容忍的停機(jī)時(shí)間極少的單位(比如金融、電信、醫(yī)療、電子商務(wù)、交通),要求很小的數(shù)據(jù)同步延時(shí)時(shí)間。