電子商務(wù)網(wǎng)站上經(jīng)常會(huì)出現(xiàn)促銷(xiāo)的字樣,尤其是在一些特定節(jié)日時(shí),秒殺已經(jīng)成為吸引顧客的必備。而在面對(duì)集中時(shí)段爆發(fā)大流量的挑戰(zhàn)時(shí),首當(dāng)其沖的就是數(shù)據(jù)中心的基礎(chǔ)架構(gòu)。
京東最早進(jìn)入人們的視線就是從電子商務(wù)開(kāi)始,而現(xiàn)在的京東集團(tuán)已經(jīng)發(fā)展成由京東商城、京東金融集團(tuán)、拍拍、海外事業(yè)部組成的四部分。并且京東在業(yè)務(wù)規(guī)模和基礎(chǔ)架構(gòu)規(guī)模上還在不斷發(fā)展,作為業(yè)務(wù)驅(qū)動(dòng)型企業(yè),在業(yè)務(wù)不斷擴(kuò)張的同時(shí)基礎(chǔ)架構(gòu)也在不斷進(jìn)化。并且京東還擁有較強(qiáng)的研發(fā)能力,加上對(duì)于網(wǎng)絡(luò)要求較高所以在SDN上的發(fā)展也是理所應(yīng)當(dāng)。
業(yè)務(wù)規(guī)模是首要挑戰(zhàn)
“京東最主要的業(yè)務(wù)是電子商務(wù),尤其是在618、雙十一這種大促時(shí),瞬時(shí)的流量會(huì)相當(dāng)龐大,并且每年都在成倍增長(zhǎng)。”京東網(wǎng)絡(luò)部架構(gòu)師王大泳說(shuō)道。
不僅為了應(yīng)對(duì)促銷(xiāo)爆發(fā)的大流量,京東的業(yè)務(wù)也從自營(yíng)擴(kuò)展到第三方,加上金融業(yè)務(wù)和海外市場(chǎng)擴(kuò)展。京東需要在滿足相應(yīng)業(yè)務(wù)目前訪問(wèn)需求的同時(shí),保證未來(lái)訪問(wèn)規(guī)模的增長(zhǎng),但這些業(yè)務(wù)需求給數(shù)據(jù)中心帶來(lái)壓力不可小覷。
京東目前流量規(guī)模最大的是CDN業(yè)務(wù),可靠性要求最高的是交易、支付系統(tǒng)。
并且業(yè)界越來(lái)越多的企業(yè)在業(yè)務(wù)上正在趨同發(fā)展,B2C、C2C、O2O甚至云計(jì)算,所以對(duì)于京東而言業(yè)務(wù)的規(guī)模是基礎(chǔ)架構(gòu)最大的挑戰(zhàn)。
通過(guò)對(duì)基礎(chǔ)架構(gòu)、業(yè)務(wù)應(yīng)用、內(nèi)部系統(tǒng)(分布式計(jì)算、分布式存儲(chǔ)、數(shù)據(jù)庫(kù))三部分進(jìn)行相應(yīng)的改造更好的支撐業(yè)務(wù)的變化。
基礎(chǔ)設(shè)施建設(shè)與優(yōu)化
王大泳所在的運(yùn)維部基礎(chǔ)架構(gòu)團(tuán)隊(duì)則主要負(fù)責(zé)所有面向IaaS層面的基礎(chǔ)網(wǎng)絡(luò)服務(wù),包括DNS、CDN、負(fù)載均衡、高性能系統(tǒng)的開(kāi)發(fā)以及數(shù)據(jù)中心網(wǎng)絡(luò)。
由于整體基礎(chǔ)架構(gòu)建設(shè)周期較長(zhǎng),通常需要制定相對(duì)可靠的預(yù)期和規(guī)劃,并且在整體架構(gòu)設(shè)計(jì)上也需要更加靈活。所以京東在業(yè)務(wù)支撐層面,主要從五個(gè)方面對(duì)基礎(chǔ)架構(gòu)層面進(jìn)行優(yōu)化,第一,功能;第二,性能;第三,容量;第四,擴(kuò)展性;第五,可靠性。
在設(shè)備選型上則主要分服務(wù)器和網(wǎng)絡(luò)兩類,服務(wù)器從性能需求消耗上進(jìn)行分類通過(guò)測(cè)試和評(píng)估進(jìn)行選擇,網(wǎng)絡(luò)設(shè)備則從接入密度、容量和可靠性上進(jìn)行衡量,并且對(duì)于新技術(shù)京東也會(huì)進(jìn)行考量,讓產(chǎn)品處在一個(gè)持續(xù)可擴(kuò)展的發(fā)展水平。
“京東擁有大規(guī)模的業(yè)務(wù),我們希望用高性價(jià)比的機(jī)架式服務(wù)器來(lái)支撐各種業(yè)務(wù)。”王大泳說(shuō)道。京東重視設(shè)備的一致性,如果硬件平臺(tái)過(guò)于復(fù)雜對(duì)于京東整體平臺(tái)以及云服務(wù)的發(fā)展都會(huì)產(chǎn)生一定制約,并且設(shè)備一致性還可以建設(shè)更多的綜合性平臺(tái)。
整個(gè)數(shù)據(jù)中心的建設(shè)也是根據(jù)業(yè)務(wù)的不同進(jìn)行劃分,一類是分布在各地離用戶較近的數(shù)據(jù)中心,滿足用戶訪問(wèn)流量稱為流量型;一類是部署核心應(yīng)用的大規(guī)模集群數(shù)據(jù)中心,滿足應(yīng)用的容災(zāi)和集中部署稱為可靠穩(wěn)定型。
需求推動(dòng)軟件定義
京東是一家業(yè)務(wù)驅(qū)動(dòng)的企業(yè),未來(lái)在數(shù)據(jù)中心的規(guī)劃上也必定是業(yè)務(wù)驅(qū)動(dòng),但只有業(yè)務(wù)驅(qū)動(dòng)還并不足夠,京東還會(huì)制定可以長(zhǎng)期支撐業(yè)務(wù)的規(guī)劃設(shè)計(jì)。
具體的做法是將業(yè)務(wù)的需求進(jìn)行抽離,轉(zhuǎn)換成真正技術(shù)架構(gòu)的需求,并且基于業(yè)務(wù)平臺(tái)的發(fā)展趨勢(shì)進(jìn)行分析,如何相對(duì)靈活、彈性的支撐業(yè)務(wù),最終回歸到基礎(chǔ)架構(gòu)優(yōu)化的五個(gè)方面。
未來(lái)京東還會(huì)繼續(xù)集中在X86架構(gòu)的服務(wù)器上,其大部分的服務(wù)器都是基于英特爾至強(qiáng)處理器,除了提供底層優(yōu)秀的計(jì)算能力外也成為硬件平臺(tái)層面實(shí)施軟件定義的基礎(chǔ),并且英特爾也對(duì)軟件定義有著持續(xù)的支持。另外京東還通過(guò)Fusion ioMemory升級(jí)服務(wù)器提高效率并整合其IT基礎(chǔ)設(shè)施,保證整個(gè)系統(tǒng)變得更穩(wěn)定、更靈活。
不僅在服務(wù)器上,應(yīng)對(duì)瞬時(shí)的大流量的京東在一些特殊應(yīng)用上也需要使用基于英特爾芯片的網(wǎng)卡來(lái)支撐,因?yàn)槠渲械募夹g(shù)適用于某些產(chǎn)品的需要,像負(fù)載均衡就是通過(guò)軟件編程來(lái)隨時(shí)進(jìn)行動(dòng)態(tài)的調(diào)整,在訪問(wèn)流量增加時(shí)讓服務(wù)器也能做出快速的響應(yīng),達(dá)到更好的訪問(wèn)質(zhì)量。并且基于X86架構(gòu)對(duì)于負(fù)載均衡的可編程性、擴(kuò)展性、靈活性兼容性以及后期維護(hù)和管理成本都是最優(yōu)的。
尤其是在擴(kuò)展性和靈活性上表現(xiàn)明顯,因?yàn)殡娚唐髽I(yè)在面對(duì)節(jié)日大促時(shí)可以將網(wǎng)絡(luò)帶寬進(jìn)行預(yù)估性的擴(kuò)展,像去年“雙十一“京東半天的訂單量就已經(jīng)達(dá)到平日全天的三倍,數(shù)據(jù)顯示,11月10日的訪問(wèn)量已經(jīng)超過(guò)3.5億次,達(dá)到平日的180%,預(yù)計(jì)11日將在5億左右,會(huì)達(dá)到平日的2.5倍。在訂單量和訪問(wèn)流量同時(shí)暴增時(shí)可擴(kuò)展性,頂住了網(wǎng)絡(luò)流量帶來(lái)的壓力保證了業(yè)務(wù)的正常運(yùn)行。而在大促之后靈活性的優(yōu)勢(shì)就體現(xiàn)出來(lái),其可以將更多的網(wǎng)絡(luò)帶寬分配給像物流以及金融業(yè)務(wù)等產(chǎn)品和應(yīng)用,實(shí)現(xiàn)靈活的調(diào)配。
目前電商網(wǎng)站不僅基礎(chǔ)架構(gòu)層面,一些平臺(tái)業(yè)務(wù)也開(kāi)始關(guān)注SDN,而SDN的設(shè)計(jì)與實(shí)現(xiàn)需要企業(yè)具備深厚的研發(fā)實(shí)力,否則購(gòu)買(mǎi)商業(yè)產(chǎn)品可能是更好的選擇。而京東的系統(tǒng)幾乎100%是自主研發(fā),SDN的應(yīng)用可以幫助京東實(shí)現(xiàn)資源的深度優(yōu)化。
其實(shí)除了SDN外,軟件定義還可以干更多的事,像SDS(存儲(chǔ))、SDDC(數(shù)據(jù)中心)和SDI(基礎(chǔ)架構(gòu))。電子商務(wù)網(wǎng)站在面對(duì)節(jié)日大促時(shí)可能還會(huì)臨時(shí)租用更多的服務(wù)器來(lái)應(yīng)對(duì),而在使用軟件定義后,就可以很好的提升硬件資源的彈性擴(kuò)展,降低企業(yè)重復(fù)投資的成本。
“軟件定義是長(zhǎng)期積累的結(jié)果,企業(yè)逐漸有了開(kāi)發(fā)和實(shí)現(xiàn)業(yè)務(wù)需求的能力,并且可以通過(guò)軟件管理這些實(shí)現(xiàn)需求的資源,這些資源可以是服務(wù)器、存儲(chǔ)也可以是網(wǎng)絡(luò)。”王大泳說(shuō)道。軟件開(kāi)發(fā)能力提高實(shí)現(xiàn)了現(xiàn)有需求,這樣還會(huì)再產(chǎn)生新的需求,通過(guò)不斷的迭代把軟件定義一切真正推動(dòng)起來(lái)了。