近期, 華數(shù)重磅推出阿拉丁推薦、數(shù)據(jù)羅盤、魔數(shù)水晶球三個主要大數(shù)據(jù)產(chǎn)品。
收視羅盤通過采集華數(shù)數(shù)字電視業(yè)務(wù)支撐平臺的實時業(yè)務(wù)數(shù)據(jù),經(jīng)大數(shù)據(jù)平臺一系列的復(fù)雜算法,運用實時計算技術(shù),將業(yè)務(wù)運營的綜合情況高效地展現(xiàn)出來。收視羅盤最大的特點是數(shù)據(jù)真實、實時高效。包括網(wǎng)內(nèi)最熱播的電影、電視劇、少兒影視、視頻新聞、視頻欄目、直播等業(yè)務(wù)的實時榜單和黃金時段、天、周、月等關(guān)鍵時間周期榜單,能在第一時間了解網(wǎng)內(nèi)內(nèi)容運營的總體情況。例如:在5分鐘內(nèi),收視羅盤就能將公司各個業(yè)務(wù)平臺上的運營綜合情況高效地展現(xiàn)出來,使運營人員能第一時間了解全省內(nèi)容運營的總體情況。
阿拉丁推薦則從大數(shù)據(jù)挖掘的角度, 通過對用戶的瀏覽、點播、收藏等行為的分析,建立用戶的偏好特征,推出當前“大家都在看啥”、“猜你喜歡”、“熱播Top-N”、“內(nèi)容關(guān)聯(lián)推薦”等多維度服務(wù),為用戶提供電影、電視劇、視頻新聞和欄目的推薦。
魔數(shù)水晶球通過大數(shù)據(jù)平臺實時計算能力,運用大數(shù)據(jù)挖掘分析技術(shù)對華數(shù)門戶平臺上的用戶行為進行綜合分析,并做可視化展現(xiàn),對用戶行為進行歸類和匯總,直觀展示門戶上用戶的流向和對各欄目、頁面的瀏覽情況,為運營、策劃、編排人員提供從實時監(jiān)測到定期分析的各維度業(yè)務(wù)指標。
自2014年3月將“大數(shù)據(jù)”首次寫入《政府工作報告》以來,李克強總理在多個場合提及這一熱詞。大數(shù)據(jù)的應(yīng)用在新媒體的運營中顯得尤為如火如荼。優(yōu)酷、騰訊、愛奇藝等互聯(lián)網(wǎng)新媒體已經(jīng)從技術(shù)層面上爬到了制高點,他們從直播、點播、輪播、時移、錄制等基礎(chǔ)功能結(jié)合用戶評論、打分、投票等互動手段形成了大運營的概念。
以優(yōu)酷視頻網(wǎng)為例,優(yōu)酷的視頻推薦中涉及上百個參數(shù),每次要調(diào)整參數(shù),都要手動調(diào)整十幾甚至幾十個參數(shù),每天推薦視頻的數(shù)據(jù)模型中要涉及的數(shù)據(jù)高達幾十億,一次小小的參數(shù)調(diào)整,帶來的后果,可能是當天視頻觀看帶來幾百萬的增長。美劇《紙牌屋》是其大數(shù)據(jù)分析的第一次戰(zhàn)略應(yīng)用。整部劇集是Netflix一次性在網(wǎng)站發(fā)布,供訂閱者觀看,完全顛覆了傳統(tǒng)的劇集發(fā)布(每周一集)的模式。分析結(jié)果表明:熱播三要素——凱文.史派西;大衛(wèi).芬奇和BBC出品三者結(jié)合,就可以吸引大量用戶 。由此可見,收視行為模式變更——越來越多的人不再像30年前那樣,在固定晚上的固定時刻守在電視機前,等著收看電視劇的最新劇集,而是“攢”起來選一個方便的時間段在方便的設(shè)備上看。
總的來說,新媒體行業(yè)由于用戶粘性差、忠誠度低,所以各媒體除了拼上游內(nèi)容資源外,更是不計成本的利用大數(shù)據(jù)的采集、計算、分析為大運營中的各類業(yè)務(wù)提供有效支撐,大數(shù)據(jù)技術(shù)的發(fā)展使得互聯(lián)網(wǎng)媒體運營進入媒體運營的高級階段,大數(shù)據(jù)造就了媒體運營的高級階段。
早在2013年,華數(shù)傳媒就依托星環(huán)科技的 TDH Hadoop大數(shù)據(jù)平臺完成了大數(shù)據(jù)從無到有的基礎(chǔ)建設(shè),完成了與門戶,CLPS等系統(tǒng)的數(shù)據(jù)對接,實現(xiàn)了用戶榜單,用戶推薦等基本應(yīng)用。可以說,華數(shù)傳媒在廣電行業(yè)的大數(shù)據(jù)領(lǐng)域一直保持著領(lǐng)頭羊的地位。
然而,整個廣電領(lǐng)域在技術(shù)與網(wǎng)絡(luò)差異性越來越小的情況下,服務(wù)體驗才是用戶選擇運營商的重要因素,而互聯(lián)網(wǎng)新媒體的強力沖擊使得廣電行業(yè)必須拉近技術(shù)差距,華數(shù)作為廣電行業(yè)的領(lǐng)頭羊必須在用戶體驗服務(wù)上保持充分的競爭力,所以必須深挖用戶價值,分析用戶喜好,在現(xiàn)有大數(shù)據(jù)平臺基礎(chǔ)上做大做強,保持技術(shù)領(lǐng)先優(yōu)勢,保障市場競爭優(yōu)勢。
2014年,華數(shù)傳媒大數(shù)據(jù)平臺成功應(yīng)對了服務(wù)性能增強、數(shù)據(jù)分析挖掘時間縮短、大數(shù)據(jù)業(yè)務(wù)支撐功能擴展與增加對網(wǎng)絡(luò)、服務(wù)質(zhì)量數(shù)據(jù)分析的四大挑戰(zhàn)。兩年時間過去,在發(fā)展日新月異的大數(shù)據(jù)領(lǐng)域,華數(shù)傳媒又將面臨新的市場、新的技術(shù)與新的挑戰(zhàn)。基于此,有了華數(shù)傳媒大數(shù)據(jù)三期的規(guī)劃。
從華數(shù)現(xiàn)狀分析可知,華數(shù)日志采集已基本完成互動電視域業(yè)務(wù)數(shù)據(jù)接入,互聯(lián)網(wǎng)電視接入及部分運維數(shù)據(jù)(呼叫中心與寬帶中心),但日志采集顆粒度較粗,無法為更精細化的數(shù)據(jù)分析提供支撐。所以在華數(shù)傳媒的大數(shù)據(jù)三期規(guī)劃中所面臨的第一個就是數(shù)據(jù)采集與分析強化。
現(xiàn)有日志僅僅記錄了用戶觀看點播,直播等業(yè)務(wù)的基礎(chǔ)日志,并不能真正反映用戶的真實喜好,應(yīng)當對用戶行為進行更精準的分析。更精細化的日志采集分析包括:用戶瀏覽版位點擊分布,用戶頁面停留市場,退出點,用戶播放時的快進、快退、退出操作。
數(shù)據(jù)采集分析方面,用戶主動發(fā)起的行為往往會比被動收集的信息更有價值。用戶主動行為日志分析包括:戶主動發(fā)起的的評論,打分等互動行為,戶通過呼叫中心報障的內(nèi)容,聯(lián)網(wǎng)用戶的內(nèi)容評論,打分數(shù)據(jù)融合。
此外,數(shù)據(jù)采集平臺化的建設(shè)也是急需實現(xiàn)的目標。海量數(shù)據(jù)的采集與云化托管、服務(wù)已經(jīng)成為一種熱門業(yè)務(wù),如AMAZON的REDSHIFT,華數(shù)在自身大數(shù)據(jù)平臺基礎(chǔ)上可考慮將現(xiàn)有采集能力平臺化,提供數(shù)據(jù)采集,數(shù)據(jù)服務(wù)。
同時,功能化系統(tǒng)向運營化平臺的轉(zhuǎn)變也是必不可少的。可以看到,在華數(shù)傳媒大數(shù)據(jù)平臺的三個版本中,V1.0版本實現(xiàn)了華數(shù)大數(shù)據(jù)從無到有的基礎(chǔ)平臺建設(shè),實現(xiàn)了基礎(chǔ)的推薦,指數(shù),榜單業(yè)務(wù),完成了與部分業(yè)務(wù)系統(tǒng)的對接。V2.0版本在一期基礎(chǔ)上實現(xiàn)了功能上的強化,對原有基礎(chǔ)的推薦,指數(shù),榜單業(yè)務(wù)分別進行了增強,實現(xiàn)了水晶球與收視羅盤的分析結(jié)果展現(xiàn)工具,實現(xiàn)了與部分運維數(shù)據(jù)的對接,實現(xiàn)了流式的實時計算分析。
而現(xiàn)有的平臺則有四方面的問題需要解決與優(yōu)化。
首先是集成度不夠——目前僅實現(xiàn)了功能化,根據(jù)需求簡單的將各功能堆砌成為一個系統(tǒng),缺乏高可控的中心化平臺以及松耦合的能力化組件。
其次是綜合分析缺乏——先階段各業(yè)務(wù)數(shù)據(jù)離散的為各類業(yè)務(wù)服務(wù),分析的完整度和真實度不夠,缺乏綜合的全業(yè)務(wù)數(shù)據(jù)分析。
另外,開放性——無論是市場需求還是政策發(fā)展需要,開放與共享都是平臺化的重要特征,目前的大數(shù)據(jù)系統(tǒng)無法實現(xiàn)能力開放,外面的數(shù)據(jù)無法引入進來,內(nèi)部的數(shù)據(jù)無法共享出去。
最后,擴展門檻高——由于組件能力化不夠,無法用很低的代價實現(xiàn)橫向的業(yè)務(wù)擴展,業(yè)務(wù)延展性不夠,無法支撐華數(shù)大運營生態(tài)圈的發(fā)展。
所以,V3.0需要在原有功能化系統(tǒng)的基礎(chǔ)上向運營化的平臺轉(zhuǎn)換,實現(xiàn)運算中心平臺與采集、服務(wù)等能力化組件結(jié)構(gòu);實現(xiàn)橫向業(yè)務(wù)擴展,包括管理端業(yè)務(wù)角色分權(quán)以及數(shù)據(jù)端分域;實現(xiàn)標準化的業(yè)務(wù)數(shù)據(jù)模型及對外服務(wù)數(shù)據(jù)接口;實現(xiàn)大數(shù)據(jù)綜合數(shù)據(jù)統(tǒng)一分析。
大數(shù)據(jù)三期面臨的最后一個挑戰(zhàn)是需要更豐富的業(yè)務(wù)類型。現(xiàn)有大數(shù)據(jù)系統(tǒng)實現(xiàn)了推薦、指數(shù)、榜單等基礎(chǔ)業(yè)務(wù)以及呼叫中心與寬帶故障的運維運維,從一定程度上提高了轉(zhuǎn)化率,節(jié)省了部分運維人力成本,但缺乏直觀的運營指導(dǎo),缺乏能夠直接帶來用戶價值轉(zhuǎn)化的業(yè)務(wù),降低運維成本的相關(guān)業(yè)務(wù)深入不夠。
其中,運營指導(dǎo)業(yè)務(wù)擴展包括過大數(shù)據(jù)綜合分析為編排運營帶來直觀的數(shù)據(jù)指導(dǎo),包括內(nèi)容點擊量,互聯(lián)網(wǎng)相關(guān)內(nèi)容熱度,基于地域的內(nèi)容熱度,用戶頁面版位熱度,用戶頁面瀏覽軌跡,用戶觀影行為統(tǒng)計等,通過分時,分段的對營銷專題、活動等行為進行統(tǒng)計,形成周期性營銷的有效運營指導(dǎo),統(tǒng)計分析包括內(nèi)容熱度,頁面喜好度等。
用戶價值轉(zhuǎn)化業(yè)務(wù)擴展包括對用戶從開機到關(guān)機的整體行為軌跡追蹤,對用戶各環(huán)節(jié)的操作行為進行細化綜合分析,刻畫更完整的用戶畫像。對現(xiàn)有內(nèi)容標簽體系上進一步挖掘,結(jié)合互聯(lián)網(wǎng)新媒體標簽,將內(nèi)容標簽變?yōu)檎嬲目蛇\營。通過用戶完整畫像與內(nèi)容標簽的結(jié)合,推出個性化廣告,個性化推薦,訂閱推廣等新業(yè)務(wù)實現(xiàn)用戶價值的轉(zhuǎn)化。
運維成本降低業(yè)務(wù)擴展則包括了豐富現(xiàn)有運維數(shù)據(jù),包括管理員操作分析,服務(wù)器報障分析,網(wǎng)絡(luò)報障分析,數(shù)據(jù)庫報障分析等多個維度。上述各類運維業(yè)務(wù)數(shù)據(jù)都匯總在大數(shù)據(jù)中心,經(jīng)過綜合統(tǒng)計分析后可提供運維分類的全局視圖,有利于定位頻發(fā)故障類型,頻發(fā)地區(qū),從根源上解決問題降低后期重復(fù)維護成本。
總得來說,大數(shù)據(jù)三期平臺的建設(shè)目標是擴大數(shù)據(jù)采集范圍,實現(xiàn)運營化平臺,豐富新業(yè)務(wù)種類。
對于包括廣電運營商在內(nèi)的眾多企業(yè)而言,精細化的用戶需求掌控是未來發(fā)展不可變更的趨勢。在此,Hadoop大數(shù)據(jù)平臺的優(yōu)勢是不可替代的。華數(shù)傳媒與星環(huán),思華科技合力打造的大數(shù)據(jù)平臺在過去的兩年里經(jīng)受了時間的考驗,華數(shù)傳媒也始終處于行業(yè)領(lǐng)頭羊的地位。如今的大數(shù)據(jù)平臺第三期規(guī)劃將再次證明大數(shù)據(jù)時代的浪潮仍未過去。