在國內(nèi)，對包括傅煒在內(nèi)的數(shù)量龐大的球迷來說，2018年俄羅斯世界杯改變了他們的觀看方式。不同于此前歷屆世界杯對電視機(jī)的不離不棄，由手機(jī)、平板這些終端承載的CNTV移動直播，以便攜性、互動性、高清流暢的畫質(zhì)征服了萬千球迷，成為了大多數(shù)人的唯一收看選擇。他們不會想到，當(dāng)人們通過移動直播觀看扣人心弦的比賽時，一場場與不良用戶體驗較量的“比賽”，也在悄悄地同時進(jìn)行著......
2018俄羅斯世界杯法國隊的最終奪冠，讓國內(nèi)通過網(wǎng)絡(luò)直播觀看決賽的球迷們欣喜不已（圖片來源：FIFA World Cup/Twitter）
備戰(zhàn)
7月16日早上五點，金山云世界杯直播保障團(tuán)隊負(fù)責(zé)人左岸走出位于北京市西三環(huán)旁邊的CNTV總部“望海樓”，他邊走邊想，像自己每周幾天都能看到凌晨四點的北京的人不多吧？由于連續(xù)奮戰(zhàn)在直播保障的第一線，令他身心俱疲，但此刻卻毫無睡意，一種為客戶保障成功的巨大興奮感始終圍繞著他，頭都有些暈。左岸定定神，點著一根煙，這一個月以來的“戰(zhàn)斗”經(jīng)歷，便又浮現(xiàn)在眼前。
左岸所在的公司，此前為包括2018年央視春晚在內(nèi)的多項重大事件直播提供過技術(shù)保障。盡管已經(jīng)“身經(jīng)百戰(zhàn)”，深得客戶信任，“但是剛接到CNTV的世界杯直播這個需求的時候，說實話還是有點緊張”，曾擔(dān)任過今年央視春晚金山云直播保障團(tuán)隊總負(fù)責(zé)人的左岸，對于他的新身份——CNTV世界杯直播保障團(tuán)隊總負(fù)責(zé)人，一開始有些遲疑。
這是因為，世界杯直播的保障壓力比春晚大得多。首先，世界杯的多端直播覆蓋搭載iOS、安卓系統(tǒng)的手機(jī)和平板等不同的移動終端，這在世界杯的直播歷史上還是第一次，上屆世界杯還沒有這樣的直播，對于各方來說都是第一次；第二，世界杯不同于此前的任何一次重大直播，它包含在一個月之內(nèi)的多場重點直播，屬于時間較長的保障，再加上比賽時間的時差和數(shù)量龐大的觀眾，“需要協(xié)調(diào)的東西非常多”。
巨大的壓力下，左岸的動力反倒充足起來。他迅速調(diào)整心態(tài)，將此次看作是一次難得的鍛煉和提升團(tuán)隊的機(jī)會，“任務(wù)越艱巨越好”。他比喻說，為CNTV這樣的大客戶做直播保障，競爭非常激烈，這和世界杯的賽程分為小組賽和淘汰賽一樣?？蛻舻囊蠛芨撸绻_(dá)不到，就會被淘汰掉。不想被淘汰的話，就要“苦練內(nèi)功”，扎扎實實地做好服務(wù)，“我想借這次給世界杯直播做保障的機(jī)會，證明我們團(tuán)隊的實力”。
為了確保此次直播保障的順利進(jìn)行，在左岸的帶領(lǐng)下，金山云在5月初迅速成立了項目組，一個月之后成立了世界杯直播保障指揮中心（以下簡稱“指揮中心”），團(tuán)隊有數(shù)十人，人員分兩部分，一部分負(fù)責(zé)基礎(chǔ)保障，包括運維和調(diào)優(yōu)，一部分負(fù)責(zé)研發(fā)。
為便于大家查看，金山云世界杯直播保障指揮中心懸掛著詳細(xì)的賽程表
阿韞是這次保障中直播CDN服務(wù)的負(fù)責(zé)人。在他的安排下，CDN節(jié)點功能和調(diào)度分成“一主一備”，兩個“主”負(fù)責(zé)CDN節(jié)點業(yè)務(wù)和調(diào)度，“就像一場球賽里，有主力球員和替補(bǔ)球員一樣，我們的‘主備’的安排也遵循了這個規(guī)則”，阿韞笑著說。按照分工，在直播期間，左岸和負(fù)責(zé)運維的同事會緊盯質(zhì)量指標(biāo)數(shù)據(jù)和全網(wǎng)平均碼率指標(biāo)，如果指標(biāo)數(shù)據(jù)不正常，例如卡頓率高出了正常的范圍，阿韞就要帶領(lǐng)著自己的團(tuán)隊排查原因、解決問題。
在保障計劃的制定上，金山云準(zhǔn)備得十分充分。整體預(yù)案涉及到方方面面，前期左岸和同事們用了兩周的時間來做預(yù)案文件，“做得非常詳細(xì)”，左岸介紹說，其實金山云在歷次承接重大直播的保障服務(wù)前，都會做相應(yīng)的重保方案，但這次是世界杯，金山云也是第一次接規(guī)模這么大的直播，所以預(yù)案要做得比以往更嚴(yán)謹(jǐn)更具體。整體的系統(tǒng)、所有的資源壓力，包括技術(shù)上的壓力都需要指揮中心事先進(jìn)行評估。評估后，左岸帶領(lǐng)團(tuán)隊要做重保的演練，要去模擬所有直播中可能會出現(xiàn)的情況和故障，看團(tuán)隊的響應(yīng)和處理能力如何，而且，在世界杯正式開始前，這樣的演練需要反復(fù)進(jìn)行。
金山云世界杯直播保障指揮中心有著濃厚的比賽氛圍
按照計劃，左岸帶著部分同事在客戶CNTV那里“駐扎”，其他人在金山云的指揮中心。左岸和同事們建立了輪班制，每天團(tuán)隊中都要有一些人，固定安排在客戶那邊駐場服務(wù)，便于現(xiàn)場排查、解決問題，指揮中心所有的值班都要跟著比賽日期走，所有參與到直播保障工作的人都要保持通信暢通，同時，指揮中心建了多個線上的工作溝通群，如果有問題現(xiàn)場解決不了，隨時在各個群里反饋溝通，確保直播保障服務(wù)的順利進(jìn)行，“可以說，只要是想得到的，我們都做了準(zhǔn)備”。
隨著世界杯開幕日期的一天天臨近，左岸和同事們摩拳擦掌，信心十足又有些忐忑地準(zhǔn)備迎接這場“大考”。
絕殺
北京時間6月14日晚間，俄羅斯世界杯正式拉開大幕。與小組賽即將登上賽場上的那些教練和球員一樣，指揮中心也是一片忙碌。團(tuán)隊中的每個人都緊張地盯著自己面前的屏幕，還有正在播放的球賽直播。與預(yù)想的一樣，央視方面發(fā)來的指標(biāo)數(shù)據(jù)均正常，這讓大家都稍稍松了口氣。“剛開始其實還好，流量峰值沒那么高，這在我們的意料之內(nèi)，我們真正擔(dān)心的是那些周末和晚上8點時的比賽”，左岸說。
隨著世界杯小組賽的推進(jìn)和比賽的密集進(jìn)行，真正的考驗來了。在指標(biāo)的保障、資源的調(diào)度、切換的機(jī)制等方面，盡管此前做了充分的準(zhǔn)備，但在直播中還是不可避免地出現(xiàn)了兩、三次如卡頓率等指標(biāo)超出正常范圍的情況。原因在于，某場比賽觀看的人數(shù)太多，導(dǎo)致新建的CDN節(jié)點性能受到影響，卡頓率就會上升；另外，由于時差因素，一些比賽在國內(nèi)的周末黃金時間進(jìn)行，短時間內(nèi)流量峰值極高，一些CDN節(jié)點就會出現(xiàn)“跑滿”的問題。
從發(fā)現(xiàn)問題開始，左岸一邊不斷查看指標(biāo)數(shù)據(jù)，一邊通過線上工作群，不斷與團(tuán)隊里的各位負(fù)責(zé)人溝通，商量解決方案。指揮中心內(nèi)，焦急掛在了每個人的臉上，如果去遠(yuǎn)一點的地方，都是以跑代走，相互的配合直接高效，不說廢話，間或伴隨著思路上的爭執(zhí)。一旁的桌子上，公司行政部門送來的夜宵也早已變涼，沒有人顧得上吃。
“直播中出現(xiàn)問題，我們比客戶還要著急，團(tuán)隊的兄弟們，都一門心思想著怎么才能快速解決”，阿韞說，如果卡頓率指標(biāo)高出正常值，或者是節(jié)點壓力大，那么就意味著有一部分用戶的觀看體驗受到了影響，“做世界杯的直播保障是要熬夜的，我們都是比如說晚上九、十點盯一場，然后連著凌晨兩點再盯一場，盯一宿下來當(dāng)然很累，也有第二天不用繼續(xù)上班的規(guī)定，“但我發(fā)現(xiàn)，很多人經(jīng)常是第二天白天的時候并不回去休息，還在指揮部里和別人討論和分享經(jīng)驗，心思我最清楚，大家都希望能帶給觀眾最好的觀賽體驗。如果我們是一支球隊，我們正在淘汰故障，不斷晉級”。
世界杯直播保障如同艱苦的比賽（圖片來源：網(wǎng)絡(luò)）
由于事先準(zhǔn)備充分，小組賽期間出現(xiàn)的各種問題，都在指揮中心的掌控范圍內(nèi)。例如不同用戶所在的網(wǎng)絡(luò)環(huán)境不同，觀看直播極易卡頓。金山云應(yīng)客戶要求，提供碼率自適應(yīng)功能，能夠?qū)崿F(xiàn)自動碼率的轉(zhuǎn)換，可根據(jù)用戶所處環(huán)境中網(wǎng)速的快慢，提供相應(yīng)的畫質(zhì)。
即便如此，左岸和大家仍然堅持在每天的比賽結(jié)束后進(jìn)行“復(fù)盤”——對出現(xiàn)的現(xiàn)象進(jìn)行討論和研究，制定如何避免的方案。如果是小問題，要具體規(guī)定在多長時間內(nèi)解決，精準(zhǔn)到分鐘。如果是系統(tǒng)性的問題，要根據(jù)指標(biāo)數(shù)據(jù)，制定全新的方案，一天之內(nèi)就要推出來并實行。
整體情況：7月2日帶寬情況，峰值時間點：7月2日23:40（巴西-墨西哥），峰值帶寬T級別量級；待解決問題：源站數(shù)據(jù)延遲問題、個別節(jié)點資源利用率問題......這是指揮中心一封內(nèi)部郵件內(nèi)容。包括直播當(dāng)天的整體情況、問題故障、需求如何處理、工作優(yōu)先級安排、已完成任務(wù)等等，“針對每天的直播保障情況，我們團(tuán)隊都會制作相關(guān)的郵件并群發(fā)出來，這樣更有條理，更有計劃性”，左岸在分享他的直播保障經(jīng)驗時這樣說道。
晉級
經(jīng)過群策群力，漸漸地，大家感覺到直播的壓力沒有那么大了。“最難的時候已經(jīng)過來了，對于這些故障的原因，大家也都很清楚了”，直播保障團(tuán)隊的小琦說，因為處理得當(dāng)，又有“黑科技”在手，越往后的比賽，大家保障起來就越順利，到四分之一決賽、半決賽和決賽的時候，大家雖然也有壓力，但不像剛開始時那樣緊張了，“直播保障任務(wù)一變輕松，兄弟們還有點不太習(xí)慣呢”。
在此次世界杯期間，金山云為了直播的順暢，采用了不少優(yōu)勢技術(shù)和方案。據(jù)阿韞介紹，例如每場比賽都會用的智能調(diào)度，這種技術(shù)可以自動計算節(jié)點是否已滿，快滿了的話把流量調(diào)均勻，最大程度實現(xiàn)最優(yōu)節(jié)點覆蓋，幫助客戶解決不同類型業(yè)務(wù)的加速調(diào)優(yōu)，從而保證播放流暢。又如針對直播的負(fù)載均衡機(jī)制，避免某臺設(shè)備過熱出現(xiàn)故障。再如源站采用北京上海異地多活架構(gòu)，金山云支持源站故障秒切，保證直播的流暢。“我們有了世界杯小組賽直播的經(jīng)驗，加上有這些‘黑科技’的加持，為決賽、半決賽提供保障就不在話下了”。
和團(tuán)隊里的很多人一樣，小琦也是球迷，他說這次是他觀看世界杯的歷史上最特殊的一次，“我們做保障的時候，球當(dāng)然也能看，但心態(tài)與平?？辞虿灰粯?，我們是監(jiān)控著看，時刻注意視頻和聲音，時刻繃緊神經(jīng)，擔(dān)心有問題出現(xiàn)，關(guān)心比賽直播的視頻流暢度遠(yuǎn)遠(yuǎn)勝過比賽的結(jié)果。其實大家都一樣，每次都是直到比賽結(jié)束，明顯感覺到大家才放松下來”。
和法國隊奪冠一樣，金山云的直播保障團(tuán)隊也經(jīng)歷了不斷“晉級”，最終成功完成任務(wù)的過程（圖片來源：網(wǎng)絡(luò)）
“這次世界杯直播保障，我們團(tuán)隊的收獲挺大的，和法國隊奪冠一樣，我們也經(jīng)歷了不斷‘晉級’，最終成功完成保障任務(wù)的過程”，阿韞認(rèn)為，首先很好地鍛煉了團(tuán)隊，提高了大家的凝聚力。對于重大事件系統(tǒng)壓力和整體資源上的評估也得到了很大的提升，重點直播保障應(yīng)該怎么做，通過這次又明晰了很多，積累了更多的經(jīng)驗，也是為以后更好地為客戶提供直播保障服務(wù)打下了基礎(chǔ)。
7月16日早上五點半，左岸掐滅手中的煙，打算馬上回到公司，拍拍兄弟們的肩膀，向一個月以來與自己日夜并肩作戰(zhàn)的同事們說一聲“辛苦了”，再請大家吃頓大餐。而在北京的另一邊，傅煒由于法國隊最終奪冠，興奮得一夜未眠，“這是我看的最爽的一屆世界杯！特別是這次的視頻直播特給力，不像我用別的APP看那么卡，畫面也不清楚，CNTV的這個直播效果，也不知道幕后這些人是怎么實現(xiàn)的，他們想必也經(jīng)歷了很多次‘比賽’吧”。
京公網(wǎng)安備 11010502049343號