隨著數(shù)據(jù)量的增加，哪怕對TB級別的視頻數(shù)據(jù)進(jìn)行對視頻內(nèi)容的數(shù)據(jù)分析和檢索，傳統(tǒng)技術(shù)模式下可能需要花費(fèi)數(shù)小時的計(jì)算，已遠(yuǎn)遠(yuǎn)不能勝任時效性的要求。用戶希望能夠?qū)Ａ繑?shù)據(jù)進(jìn)行有效管理和使用……
得益于IT信息技術(shù)的快速進(jìn)步，人類可以隨時隨地記錄下產(chǎn)生的各類數(shù)據(jù)，同時數(shù)據(jù)存儲的成本也正以前所未有的速度下降，大數(shù)據(jù)時代正悄然來臨。在視頻監(jiān)控領(lǐng)域，高清化，大聯(lián)網(wǎng)數(shù)據(jù)匯聚推動視頻大數(shù)據(jù)形成，業(yè)務(wù)實(shí)戰(zhàn)化推動大數(shù)據(jù)分析需求。
視頻監(jiān)控業(yè)務(wù)的大數(shù)據(jù)特征
在視頻監(jiān)控領(lǐng)域，大數(shù)據(jù)的特點(diǎn)，可用Volume、Variety、Velocity、Value這4個V來概括(如圖1)。大數(shù)據(jù)的特點(diǎn)包括以下幾點(diǎn)：
第一，數(shù)據(jù)體量巨大(Volume)。高清化帶來單個監(jiān)控點(diǎn)數(shù)據(jù)量即以指數(shù)級增長，例如單個1080PIPC30天就會產(chǎn)生2T數(shù)據(jù);IP化大聯(lián)網(wǎng)后，各平臺實(shí)現(xiàn)互聯(lián)，平安城市網(wǎng)內(nèi)攝像頭數(shù)量達(dá)數(shù)萬數(shù)十萬級別，其數(shù)據(jù)量之巨大可想而知。
第二，數(shù)據(jù)類型繁多(Variety)。視頻監(jiān)控領(lǐng)域的視頻編碼格式包括：H.264、MPEG-4、MJPEG等多樣化的編碼方式。而同時隨著各類物聯(lián)網(wǎng)技術(shù)的融入到視頻監(jiān)控業(yè)務(wù)，匯聚了包括各種傳感器、IT、CT系統(tǒng)產(chǎn)生的多樣的數(shù)據(jù)。業(yè)務(wù)系統(tǒng)需要把結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)相互關(guān)聯(lián)，統(tǒng)一存儲。
第三，處理速度快(Velocity)。視頻數(shù)據(jù)隨時間快速增長，并以持續(xù)順序到達(dá)。在視頻監(jiān)控領(lǐng)域，視頻分析的效率決定價(jià)值，更低的延遲、更準(zhǔn)確的分析是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加，哪怕對TB級別的數(shù)據(jù)進(jìn)行視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用串行計(jì)算模式都可能需要花費(fèi)數(shù)小時的計(jì)算，已遠(yuǎn)遠(yuǎn)不能勝任時效性的需求。
第四，價(jià)值密度低(Value)，效率要求高。在視頻監(jiān)控業(yè)務(wù)中，價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比。一小時的視頻監(jiān)控內(nèi)容，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題。
視頻監(jiān)控業(yè)務(wù)的大數(shù)據(jù)應(yīng)用需求
隨著數(shù)據(jù)量的增加，哪怕對TB級別的視頻數(shù)據(jù)進(jìn)行對視頻內(nèi)容的數(shù)據(jù)分析和檢索，傳統(tǒng)技術(shù)模式下可能需要花費(fèi)數(shù)小時的計(jì)算，已遠(yuǎn)遠(yuǎn)不能勝任時效性的要求。用戶希望能夠?qū)Ａ繑?shù)據(jù)進(jìn)行有效管理和使用，快速辨別有效數(shù)據(jù)，提高數(shù)據(jù)利用價(jià)值。
分析大數(shù)據(jù)產(chǎn)生小數(shù)據(jù)。攝像頭7×24小時工作，如實(shí)記錄鏡頭覆蓋范圍內(nèi)發(fā)生的一切，僅僅記錄信息是不夠的，因?yàn)閷τ诳蛻魜碇v可能大部分信息是無效，有效信息可能只分布在一個較短的時間段內(nèi)，按照數(shù)學(xué)統(tǒng)計(jì)理論，信息是呈現(xiàn)出冪律分布的，或稱之為信息密度，往往密度越高的信息對客戶價(jià)值越大。實(shí)時涌入的海量數(shù)據(jù)容易產(chǎn)生大量的休眠數(shù)據(jù)，浪費(fèi)大量存儲資源。對海量數(shù)據(jù)進(jìn)行智能分析，提取出價(jià)值數(shù)據(jù)片段。建立摘要信息，減少用戶需要面對處理的數(shù)據(jù)量，形成元數(shù)據(jù)信息庫。
提純小數(shù)據(jù)產(chǎn)生價(jià)值數(shù)據(jù)，例如在公安系統(tǒng)中希望能集中分析過去和現(xiàn)在的犯罪數(shù)據(jù)和視頻圖片，整合所有信息，能提供對犯罪趨勢更全面的看法。這就需要針對海量歷史數(shù)據(jù)實(shí)現(xiàn)快速檢索，并對貌似非關(guān)聯(lián)的數(shù)據(jù)進(jìn)行關(guān)聯(lián)，并在可視化平臺進(jìn)行呈現(xiàn)，總結(jié)出數(shù)據(jù)規(guī)律，為決策者提供參考和預(yù)測未來業(yè)務(wù)走向。
視頻監(jiān)控大數(shù)據(jù)分析所需的關(guān)鍵能力
因?yàn)橐曨l監(jiān)控中大體量數(shù)據(jù)帶來了很多現(xiàn)實(shí)中的難題，我們需要在視頻監(jiān)控解決方案中引入大數(shù)據(jù)技術(shù)。基于視頻監(jiān)控業(yè)務(wù)的特點(diǎn)，我們認(rèn)為四類關(guān)鍵技術(shù)發(fā)揮至關(guān)重要的作用。
智能分析能力。基于計(jì)算機(jī)圖像識別算法，對視頻圖像內(nèi)容進(jìn)行理解和分析，生成圖像內(nèi)容和行為的描述信息，并以結(jié)構(gòu)化或半結(jié)構(gòu)化語言描述，為視頻大數(shù)據(jù)分析與應(yīng)用提供基礎(chǔ);
大數(shù)據(jù)處理能力。基于大數(shù)據(jù)并行或分布式處理技術(shù)，如Hadoop，Hbase等，形成面向大數(shù)據(jù)的分布式存儲與數(shù)據(jù)管理框架;提供實(shí)時和批處理ETL，實(shí)現(xiàn)數(shù)據(jù)清洗/轉(zhuǎn)換/裝載，以形成價(jià)值信息匯聚;
數(shù)據(jù)挖掘與分析能力。對智能分析元數(shù)據(jù)的檢索、數(shù)據(jù)挖掘與分析能力，即對視頻數(shù)據(jù)的高效利用能力;與非視頻數(shù)據(jù)整合分析，挖掘事件關(guān)聯(lián)及產(chǎn)生模式，提升視頻數(shù)據(jù)價(jià)值的能力;
可視化展現(xiàn)能力。對視頻內(nèi)容的高效檢索、比對和呈現(xiàn)能力;與GIS平臺、情報(bào)分析平臺、應(yīng)急處理平臺等地方平臺視圖整合展現(xiàn)，提升視頻數(shù)據(jù)實(shí)用性的能力。
通過大數(shù)據(jù)技術(shù)，進(jìn)一步挖掘海量視頻監(jiān)控?cái)?shù)據(jù)背后的價(jià)值信息，快速反饋內(nèi)涵知識輔助決策判斷將是未來視頻監(jiān)控應(yīng)用的發(fā)展方向。
視頻智能大數(shù)據(jù)分析架構(gòu)
視頻監(jiān)控業(yè)務(wù)的核心就是數(shù)據(jù)，數(shù)據(jù)就是業(yè)務(wù)本身，筆者公司的視頻監(jiān)控大數(shù)據(jù)架構(gòu)平臺可以給大型的視頻監(jiān)控項(xiàng)目帶來諸多的裨益。
該智能大數(shù)據(jù)架構(gòu)靈活，伸縮彈性更大。實(shí)現(xiàn)計(jì)算、存儲資源云化部署，設(shè)備自組網(wǎng)、自管理，業(yè)務(wù)永不中斷，按需彈性擴(kuò)容。支持分布式檢索引擎，通過分布式數(shù)據(jù)庫MongoDB，支持海量數(shù)據(jù)存儲，10億條記錄，秒級即可完成數(shù)據(jù)檢索和呈現(xiàn)。
開放架構(gòu)，智能分析插件化、可擴(kuò)展，ISV定制開發(fā)簡單快捷。開放架構(gòu)，第三方智能分析插件可無縫集成;提供智能算法、智能分析應(yīng)用服務(wù)REST標(biāo)準(zhǔn)接口，支持ISV定制開發(fā)。
豐富的智能分析能力，支持可視化操作管理和圖形化研判分析。實(shí)現(xiàn)可疑行為自動報(bào)警、全網(wǎng)點(diǎn)實(shí)時布控、人/車精準(zhǔn)識別、視頻內(nèi)容高效檢索、案件智能分析、以及設(shè)備故障自診斷。
從大數(shù)據(jù)架構(gòu)圖(圖2)可以看到：
DAU(分布式分析單元)：支持流式計(jì)算，可分布式部署，對含視頻在內(nèi)的媒體內(nèi)容進(jìn)行智能分析;通過媒體數(shù)據(jù)預(yù)處理，支持插件業(yè)務(wù)框架，可引入各類第三方算法插件，基于ONVIF/PSIA數(shù)據(jù)封裝器，對協(xié)議進(jìn)行適配;
DPU(數(shù)據(jù)處理單元)：提供包括第三方數(shù)據(jù)接入適配，進(jìn)行數(shù)據(jù)的匯聚，并對非結(jié)構(gòu)化數(shù)據(jù)歸檔，通過數(shù)據(jù)轉(zhuǎn)換引擎，實(shí)現(xiàn)數(shù)據(jù)的清洗和轉(zhuǎn)換，另外根據(jù)規(guī)則引擎下發(fā)實(shí)時告警規(guī)則上報(bào)實(shí)時告警信息;
DMU(數(shù)據(jù)挖掘單元)：規(guī)則模型管理，采用可視化界面定義業(yè)務(wù)規(guī)則(Schema);為加快數(shù)據(jù)處理實(shí)時性，引入高效率的內(nèi)存數(shù)據(jù)庫技術(shù)。經(jīng)過前面數(shù)據(jù)處理層處理后的數(shù)據(jù)，以關(guān)系型數(shù)據(jù)形式進(jìn)行存放;
AE(應(yīng)用環(huán)境)：業(yè)務(wù)應(yīng)用及呈現(xiàn)，提供業(yè)務(wù)生成框架，用戶可進(jìn)行靈活的業(yè)務(wù)配置。統(tǒng)一數(shù)據(jù)訪問接口，應(yīng)用開發(fā)環(huán)境，便于第三方合作伙伴進(jìn)行整治業(yè)務(wù)應(yīng)用開發(fā)。
大數(shù)據(jù)視頻監(jiān)控構(gòu)架帶來的價(jià)值
大數(shù)據(jù)視頻架構(gòu)是革命性的技術(shù)，特別在實(shí)時智能分析和數(shù)據(jù)挖掘方面，讓視頻監(jiān)控從人工抽檢，進(jìn)步到高效事前預(yù)警、事后分析，實(shí)現(xiàn)智能化的信息分析、預(yù)測，為視頻監(jiān)控領(lǐng)域業(yè)務(wù)帶來深刻的變革(如圖3)：
平安城市領(lǐng)域，實(shí)時匯總并綜合分析各種公共安全數(shù)據(jù)和資料，為執(zhí)法人員快速準(zhǔn)確應(yīng)對提供科學(xué)依據(jù)：如實(shí)時調(diào)閱現(xiàn)場視頻錄像、犯罪嫌疑人記錄、同一地區(qū)的相似案件資料;進(jìn)行地理、時間和空間的比較分析，揭示其犯罪模式和行為模式;追蹤嫌疑人與其車輛的位置等。指揮人員也可以參照各種數(shù)據(jù)對不同來源的資料進(jìn)行綜合分析，制作指揮圖。
智能交通行業(yè)，可以輕松監(jiān)控?cái)z像覆蓋范圍內(nèi)的所有車輛的行駛狀態(tài)、運(yùn)行軌跡，快速分析出其是否違章，通過對海量交通數(shù)據(jù)的比對、分析和研判，實(shí)現(xiàn)指定車輛行駛路徑、道路擁堵研判等功能。
云服務(wù)領(lǐng)域：實(shí)現(xiàn)基于大數(shù)據(jù)的視頻監(jiān)控云服務(wù)，讓攝像機(jī)僅通過互連網(wǎng)就能連接云端的視頻監(jiān)控托管服務(wù)，通過快速、智能地分析部署在云端的大數(shù)據(jù)，為小型企業(yè)、零售商店、餐館酒店等提供實(shí)時的監(jiān)控視頻和潛在的風(fēng)險(xiǎn)管理，甚至能提供收費(fèi)的基于視頻內(nèi)容的分析報(bào)告，如日常的客戶數(shù)，平均隊(duì)列長度等，創(chuàng)造新的商業(yè)模式。
大數(shù)據(jù)技術(shù)和視頻監(jiān)控的結(jié)合，把孤立的視頻內(nèi)容通過大數(shù)據(jù)技術(shù)的加工，形成可視化結(jié)果呈現(xiàn)，這種轉(zhuǎn)變可為視頻監(jiān)控業(yè)務(wù)創(chuàng)造更加智能高效的使用方式，讓用戶從繁重的觀看視頻監(jiān)控勞動中解脫出來，能輕松自如地通過視頻監(jiān)控進(jìn)行高效準(zhǔn)確的決策。
總結(jié)
視頻監(jiān)控進(jìn)入網(wǎng)絡(luò)化時代以后，越來越多融入IT新興技術(shù)，大數(shù)據(jù)技術(shù)在視頻監(jiān)控領(lǐng)域的廣闊發(fā)展路徑已經(jīng)顯現(xiàn)，筆者公司正致力于把大數(shù)據(jù)技術(shù)和視頻監(jiān)控業(yè)務(wù)實(shí)現(xiàn)完美的融合，以打造出大數(shù)據(jù)時代的視頻監(jiān)控解決方案。
京公網(wǎng)安備 11010502049343號