2015年5月1日，當(dāng)全國(guó)人民正在享受勞動(dòng)節(jié)小長(zhǎng)假的時(shí)候，安徽聯(lián)通BSS系統(tǒng)卻在經(jīng)受核心數(shù)據(jù)庫(kù)升級(jí)之后的第一個(gè)賬期檢驗(yàn)。據(jù)了解，安徽聯(lián)通在今年的4月17日成功實(shí)施了2套核心數(shù)據(jù)庫(kù)的全部升級(jí)工作，平滑地完成了將Oracle數(shù)據(jù)庫(kù)由9i到11g、由裸設(shè)備至ASM的重要轉(zhuǎn)變，并實(shí)現(xiàn)了應(yīng)用性能的躍進(jìn)。
TechTarget中國(guó)記者從升級(jí)項(xiàng)目承建方云和恩墨公司的負(fù)責(zé)人那里了解到，安徽聯(lián)通此次核心庫(kù)系統(tǒng)的升級(jí)，在兼顧應(yīng)用最小改動(dòng)的基礎(chǔ)上，首次嘗試了以數(shù)據(jù)庫(kù)為核心的平穩(wěn)升級(jí)。實(shí)際證明此次升級(jí)是面向應(yīng)用解耦、探索灰度發(fā)布的一次成功案例。整體升級(jí)方案中實(shí)現(xiàn)了多項(xiàng)技術(shù)創(chuàng)新，對(duì)國(guó)內(nèi)的Oracle用戶(hù)極具參考價(jià)值。
為何選擇這個(gè)時(shí)機(jī)進(jìn)行升級(jí)?
據(jù)TechTarget中國(guó)記者了解，客戶(hù)關(guān)系管理(CRM)、賬務(wù)(ACCT)、計(jì)費(fèi)(Billing)數(shù)據(jù)庫(kù)是本次項(xiàng)目中最核心的三部分。自從2007年上線(xiàn)以來(lái)，安徽聯(lián)通的數(shù)據(jù)庫(kù)版本和結(jié)構(gòu)均未做過(guò)升級(jí)。2010年7月，甲骨文公司停止了對(duì)Oracle 9i版本的擴(kuò)展技術(shù)支持，自此歷史使命終結(jié)。也正是出于這個(gè)原因，安徽聯(lián)通開(kāi)始考慮進(jìn)行核心數(shù)據(jù)庫(kù)升級(jí)。從下圖Oracle產(chǎn)品支持周期中也可以看到，Oracle 10g也在2013年退出支持周期。
之所以選擇升級(jí)到11g版本，是考慮到經(jīng)過(guò)多年的應(yīng)用和完善，其在集群和ASM等核心技術(shù)方面已經(jīng)非常成熟，數(shù)據(jù)庫(kù)優(yōu)化功能也越來(lái)越豐富，各種新特性更有利于系統(tǒng)的擴(kuò)展與維護(hù)。從前期各項(xiàng)數(shù)據(jù)分析結(jié)果中可以看出。“此次技術(shù)的更新必定帶來(lái)更穩(wěn)定的性能與維護(hù)成本的降低，這是我們此次升級(jí)的初衷。”聯(lián)通方表示。
項(xiàng)目難點(diǎn)何在?
簡(jiǎn)單來(lái)說(shuō)，安徽聯(lián)通這次的整體升級(jí)項(xiàng)目中，主要面臨了以下幾點(diǎn)挑戰(zhàn)：
在最短的停機(jī)時(shí)間內(nèi)，實(shí)現(xiàn)跨版本的數(shù)據(jù)庫(kù)升級(jí);將超過(guò)8 TB的數(shù)據(jù)，實(shí)現(xiàn)存儲(chǔ)架構(gòu)由裸設(shè)備到ASM的遷移;數(shù)百萬(wàn)的SQL性能測(cè)試，確保遷移之后性能穩(wěn)定、提升，進(jìn)而實(shí)現(xiàn)應(yīng)用的解耦。
在安徽聯(lián)通的系統(tǒng)環(huán)境中，數(shù)據(jù)庫(kù)處于核心的支撐地位。在整體升級(jí)過(guò)程中，數(shù)據(jù)庫(kù)升級(jí)遷移、應(yīng)用性能的穩(wěn)定決定了整個(gè)項(xiàng)目的最終成敗，因此要求盡量與應(yīng)用解耦。然而長(zhǎng)期以來(lái)，大家形成了這樣一種認(rèn)識(shí)誤區(qū)，即數(shù)據(jù)庫(kù)的跨版本升級(jí)，應(yīng)用必須做出重大調(diào)整才能保證性能不下降。這極大地阻礙了數(shù)據(jù)庫(kù)升級(jí)和新技術(shù)的革新。
對(duì)此云和恩墨的負(fù)責(zé)人表示，事實(shí)上，如果經(jīng)過(guò)嚴(yán)密的測(cè)試和精心的規(guī)劃，應(yīng)用系統(tǒng)基本是可以實(shí)現(xiàn)無(wú)變更或微變更來(lái)保證高版本數(shù)據(jù)庫(kù)環(huán)境下應(yīng)用性能的，也就是所謂的應(yīng)用解耦。“通過(guò)數(shù)據(jù)庫(kù)升級(jí)和應(yīng)用解耦的遷移嘗試，我們也在向應(yīng)用和數(shù)據(jù)庫(kù)的灰度變更轉(zhuǎn)變，并進(jìn)一步讓數(shù)據(jù)庫(kù)與應(yīng)用做到更加透明。我們希望通過(guò)這次的成功實(shí)踐，幫助大家轉(zhuǎn)變傳統(tǒng)的觀念。”
升級(jí)方案的最終敲定
TechTarget中國(guó)記者了解到，針對(duì)這次核心數(shù)據(jù)庫(kù)的升級(jí)，技術(shù)人員詳細(xì)分析了數(shù)十種可能方案。經(jīng)過(guò)反復(fù)論證和對(duì)比測(cè)試，并結(jié)合了多重細(xì)節(jié)優(yōu)化進(jìn)行了逐一排除，安徽聯(lián)通最終確立了最優(yōu)方案。為確保升級(jí)過(guò)程的萬(wàn)無(wú)一失，安徽聯(lián)通前期又從應(yīng)用、SQL、數(shù)據(jù)庫(kù)、存儲(chǔ)等各個(gè)方面進(jìn)行了全方位約20輪、6個(gè)月的模擬測(cè)試，針對(duì)每一次的突發(fā)狀況都制定了緊急預(yù)案，在注重細(xì)節(jié)的基礎(chǔ)上最終形成了以分鐘為精度的執(zhí)行方案和步驟。整個(gè)項(xiàng)目方案的制定、測(cè)試重點(diǎn)也借鑒了同行業(yè)其他用戶(hù)遇到的嚴(yán)重問(wèn)題，實(shí)現(xiàn)了無(wú)死角、全覆蓋的整體兼顧。而這一切精細(xì)化的工作，也讓整個(gè)項(xiàng)目組對(duì)最終的成功升級(jí)胸有成竹。
據(jù)介紹，這次升級(jí)在跨版本、跨存儲(chǔ)方式、平滑過(guò)度等要求下選擇的最終方案具多項(xiàng)微創(chuàng)新，通過(guò)RMAN的跨版本ASM恢復(fù)，以及分割的腳本快速升級(jí)，一舉解決了上文所提到的前兩個(gè)難題，而海量的SQL性能測(cè)試難題則交給了云和恩墨攻關(guān)。云和恩墨的負(fù)責(zé)人表示，通過(guò)對(duì)Oracle核心過(guò)程的內(nèi)部修改，最終實(shí)現(xiàn)了高性能、并行化SPA測(cè)試，得以快速、反復(fù)論證了應(yīng)用解耦的可行性，如果沒(méi)有Parallel SPA，原有的SQL性能測(cè)試可能會(huì)花費(fèi)數(shù)周甚至上月的時(shí)間。
升級(jí)目標(biāo)的全面實(shí)現(xiàn)
在這次安徽聯(lián)通的項(xiàng)目實(shí)施中，各單位充分調(diào)動(dòng)了項(xiàng)目組和專(zhuān)家資源在現(xiàn)場(chǎng)進(jìn)行保障，并最終精確無(wú)誤地完成了整個(gè)升級(jí)遷移項(xiàng)目。在隨后的保障工作中，為了應(yīng)對(duì)突發(fā)狀況，安徽聯(lián)通也邀請(qǐng)了云和恩墨的兩位Oracle ACE總監(jiān)以及多名資深技術(shù)人員到現(xiàn)場(chǎng)全天候場(chǎng)，而應(yīng)用、系統(tǒng)、存儲(chǔ)、備份各個(gè)廠(chǎng)家團(tuán)隊(duì)也都齊聚安徽聯(lián)通進(jìn)行保駕護(hù)航，最終平穩(wěn)度過(guò)了月結(jié)和賬期的高峰考驗(yàn)，實(shí)現(xiàn)了新系統(tǒng)的平穩(wěn)運(yùn)行，并宣告項(xiàng)目成功上線(xiàn)。
那么這次升級(jí)后的新系統(tǒng)“初考”成績(jī)究竟如何?TechTarget中國(guó)記者從聯(lián)通方了解到，數(shù)據(jù)庫(kù)升級(jí)之后不但改善了應(yīng)用效率，還提升了基礎(chǔ)設(shè)施的先進(jìn)性。以固話(huà)模塊為例，月初數(shù)據(jù)裝載時(shí)間縮短了20分鐘，性能提升了2倍;固費(fèi)初始化耗時(shí)減少20分鐘左右，性能提升了4倍，這極大的改善了系統(tǒng)性能，提高了生產(chǎn)率。
對(duì)此，安徽聯(lián)通項(xiàng)目負(fù)責(zé)人表示：“此次系統(tǒng)升級(jí)為我們和各廠(chǎng)商及團(tuán)隊(duì)的良好關(guān)系奠定了堅(jiān)實(shí)的基礎(chǔ)，升級(jí)過(guò)程中工作人員一絲不茍的態(tài)度更是讓我們堅(jiān)信‘有志者事竟成’的夙愿。后期我們的合作仍將繼續(xù)深入!”
京公網(wǎng)安備 11010502049343號(hào)