作為對性價比敏感的互聯網企業,優酷選擇技術和產品的原則就是實用有效。本著這一原則完成改造的主數據中心,將滿足優酷未來2~3年的業務增長需要。
提起優酷,喜歡看網上視頻的人大概沒有不知道的。創辦于2006年的優酷,因著 “快者為王”的產品理念,以 “快速播放,快速發布,快速搜索”的特性,滿足了互聯網用戶日益增長的多元化互動需求,從而成為國內視頻網站中的領軍企業。
支持優酷實現快速、優質用戶體驗的,是優酷背后強大的數據中心和IT技術能力。據優酷CTO姚鍵介紹,優酷每年的數據增長率大概都在50%。為了應對不斷增長的巨大流量帶來挑戰,2010年,優酷對位于北京的主數據中心進行了改造。
簡化的二層網絡
姚鍵表示, 由于優酷提供的視頻業務對網絡設備提出了時延小、可大規模擴展的要求,因此對網絡交換設備的選型十分重要。考慮到主數據中心的戰略地位,網絡規劃設計需要在滿足業務高質量承載與關鍵技術指標要求的同時,還要具備可擴展的性能和功能,以滿足未來業務高速發展的需求。
在本次改造項目中,優酷主數據中心交換機選型包括了內網OA和外網兩個部分。其中OA內網存在內部數據同步等需求,對設備的端口數量和服務質量要求較高。在當前階段,網絡需要能夠支持100個機柜,在長期發展之后,將達到300個機柜的要求。對外的外網則以互聯為主,需要一個高性能/低成本的解決方案,以進一步提高其系統的接口密度以及系統的冗余度。
為此,優酷在核心網選擇了瞻博網絡的EX 8216核心交換機,將網絡從三層簡化到二層。每臺8216交換機可提供100個萬兆端口與接入層交換機進行互聯,加上兩臺核心交換機之間互聯的8個萬兆接口,總共提供了108個萬兆接口。同時,該交換機最大還能夠提供144個線速萬兆接口,768個千兆接口,以充分滿足當前的網絡交換需求。并且,通過使用虛擬機箱(Virtual Chassis)技術,還提高了運維管理的效率和簡便性。
在外網中,優酷選擇了瞻博網絡的EX4200 交換機,并使用了虛擬機箱技術,為接入交換機EX2200提供了第二層的匯聚,從而提高了該系統的接口密度以及系統的冗余度,使該解決方案凸現出高性能、低成本的特性。
姚鍵表示,目前的網絡架構能夠滿足優酷未來兩到三年的發展。當問及網絡設備的選型原則,姚鍵說:“我們不選最貴的,也不選最便宜的,而是選擇性價比最優的。因為作為技術部門,省了錢固然是好事,但如果沒辦成事那更慘。”
CDN技術的威力
對于互聯網企業來說,良好的用戶體驗是成功的關鍵因素。“用戶體驗對于視頻公司的發展影響非常大,做互聯網很忌諱用戶體驗不好。體驗不好最大的損失不是損失了多少錢,而是損失了用戶對你的信心。因為,一個用戶在某個網站上看了一個視頻的第一集,還會繼續在這看第二集,也許過很長時間才會有新的嘗試。也就是說 ,你趕走用戶是非常快的,但把他吸引回來是很困難的。”
要保持良好的用戶體驗,出色的CDN技術支持必不可少,而優酷的CDN都是自己在做。“負載均衡是我們比較核心的技術,我們整個調度的算法和負載均衡措施都是自己研發的。”姚鍵對優酷的自主技術能力非常自豪。
事實上,他的自豪有著充分的理由。 因為CDN技術的優劣一頭決定著用戶體驗,另一頭決定著公司的支出成本。“視頻公司購買的帶寬是最貴的資源——比服務器還貴。但是數據的分布會遷移,使你又不得不依賴于帶寬。因此,買了1G帶寬后,怎么把它利用到極致,是節省成本的一個關鍵。”姚鍵講述了優酷在利用帶寬方面的經驗:首先要保證絕大部分帶寬應用到服務用戶上,然后要保證服務器之間的通信和數據的遷移能夠順暢進行。“很多網絡流量是浪費在服務器之間的數據遷移上,或者從核心機房去下載這些數據,以及類似的應用上。此時,用于流量預測的調度策略算法作用非常關鍵,因為預測錯了會導致你多拷貝數據,而每份拷貝實際上都浪費了你的帶寬。”
除了技術,流量預測當然還與經驗有關。“比如說北京下雨地鐵被淹了,大家都去訪問地鐵淹水的視頻。優酷發現后,就會把這個視頻多拷貝幾份放在北京的分站點上,卻沒有必要把它放在類似江蘇、浙江的分站點是,因為那里的用戶可能根本不關心此事。”姚鍵舉了了個簡單的例子來說明問題。他表示,優酷有專門的統計軟件,應用多年積累的復雜規則來跟蹤熱點視頻,因此能做到在及時布點的同時最大限度地節約帶寬。
不用“酷”技術
虛擬化、網絡優化、刀片服務器、磁盤陣列、存儲區域網(SAN)等時髦技術通常在大的數據中心都會有所應用,但姚鍵直截了當地告訴記者,這些技術優酷都沒有用。作為對價格非常敏感的互聯網企業,優酷選擇技術和產品的原則就是實用有效。
“對我們來講,主要是專注在視頻業務上。目前我們的流量增長非常快速,所以基本上還不存在哪個業務非常閑,或者幾個業務在一兩臺服務器上就能跑的現象。因此,虛擬化的意義對我們來說就不是那么大,因為虛擬化本身就要消耗一定資源,還需要管理成本。”姚鍵顯示出他精打細算的一面。
姚鍵坦承,優酷也沒有用專門的廣域網優化技術。“我們不是去優化網絡,而是適應網絡,比如對于上海的用戶來說,哪個節點的性價比比較高,我們可以做優選,在運營中還可以去調度;比如這個機房出現故障,我們能把流量切到另外一個地方去。通過正確地判斷每一個 IP的來源,把它分配到合適的服務器上,保證我們每一個服務器的忙閑程度基本一致,優酷保證了用戶較好的一致體驗。”
出于同樣的理由,優酷也沒有應用刀片服務器和磁盤陣列。“刀片服務器對我們來講意義不大,它的CPU密度很大,適用于計算密集型的應用。我們主要是I/O密集型,需要的硬盤多,而刀片服務器放硬盤的話放不了多少。” 姚鍵透露,優酷主數據中心應用的2000臺服務器都是x86服務器。
對于存儲,優酷則用的是JBOD(磁盤簇)。“我們買最便宜的盤柜,服務器上的硬盤基本是單獨管理,這樣浪費最少。硬盤其實就是為了保證數據安全,但我們是通過自己的備份體系架構來保障數據安全。這樣的話,一塊硬盤壞了直接避開它就行了。”姚鍵對此成竹在胸。