平安城市的建設起源于“科技強警”戰(zhàn)略和城市報警與監(jiān)控系統(tǒng)建設即“3111”試點工程兩大項目。從2004年以來，經(jīng)過十多年的建設，平安城市的視頻存儲規(guī)模已經(jīng)突破EB級，這些巨量的視頻數(shù)據(jù)在社會公共安全管理和案件偵破等工作中越來越扮演著不可替代的作用。在公共安全信息化建設深入開展的背景下，現(xiàn)有視頻系統(tǒng)存在著缺乏深度應用模式、視頻數(shù)據(jù)智慧化程度不高等突出問題。如何用新技術改造現(xiàn)有的視頻系統(tǒng)，使之能更好地適應物聯(lián)網(wǎng)時代視頻智慧化、情報化的應用需求已迫在眉睫。當下主要的問題在于：缺少視頻信息情報的標準化生成方法，進而缺少利用視頻信息情報指導偵查、破案的新型警務工作模式；視頻信息化情報化警務應用各環(huán)節(jié)缺乏統(tǒng)一的標準和規(guī)范。

所有這些問題的根本在于對視頻內(nèi)容的不理解，沒有一個高效的、標準化的視頻數(shù)據(jù)交換和視頻情報提取的方法。迎接視頻數(shù)據(jù)深度應用的挑戰(zhàn)，其核心及瓶頸是通過研究視頻結(jié)構化描述技術解決通用視頻數(shù)據(jù)向視頻信息化、視頻情報化方向的轉(zhuǎn)化，實現(xiàn)社會公共安全工作模式的創(chuàng)新。

2 視頻結(jié)構化說明

視頻結(jié)構化描述是一種基于視頻內(nèi)容信息提取的技術，它對視頻內(nèi)容按照語義關系，采用時空分割、特征提取、對象識別等處理手段，組織成可供計算機和人類理解的結(jié)構化信息的技術。從數(shù)據(jù)處理的流程看，視頻結(jié)構化描述技術能夠?qū)⒎墙Y(jié)構化的視頻數(shù)據(jù)轉(zhuǎn)化為人和機器可理解的結(jié)構化或者半結(jié)構化情報信息，并進一步轉(zhuǎn)化為公共安全實戰(zhàn)所用的情報數(shù)據(jù)，實現(xiàn)視頻數(shù)據(jù)向信息化、情報化的方向轉(zhuǎn)化，達到視頻感知世界的智慧應用。視頻結(jié)構化描述既是海量視頻實現(xiàn)信息化、情報化轉(zhuǎn)化行之有效的技術，也是當前公共安全領域中對視頻結(jié)構化處理的一個指向性方案。在視頻結(jié)構化描述的內(nèi)容方面，公共安全關注的視頻信息主要是：人員、車輛、行為。在視頻中把人作為一個可描述的個體展現(xiàn)出來，其中包括人員的面部精確定位、面部特征提取、面部特征比對，人員的性別、年齡范圍、大致身高、發(fā)飾、衣著、物品攜帶、步履形態(tài)等多種可結(jié)構化描述信息；對于車輛的描述信息包括：車牌、車顏色、車型、品牌、子品牌、車貼、車飾物信息等多種車輛描述信息；對于行為的描述信息包括：越界、區(qū)域、徘徊、遺留、聚集等多種行為描述信息。經(jīng)過視頻結(jié)構化處理后，可以達到如下目的：首先是視頻查找速度得到極大的提升。視頻結(jié)構化之后，從百萬級的目標庫中（對應數(shù)百到一千小時的高清視頻）查找某張截圖上的行人嫌疑目標，數(shù)秒即可完成；千萬級目標的庫中查找，幾分鐘即可完成（如果實現(xiàn)云化，速度會更快）。在結(jié)構化基礎上進行檢索查詢，可以解決快速目標查找問題。其次是存儲容量極大的降低，經(jīng)過結(jié)構化后的視頻，存儲人的結(jié)構化檢索信息和目標數(shù)據(jù)不到視頻數(shù)據(jù)量的2%；對于車輛，不到1%；對于行為降得更多。存儲容量極大地降低，可以解決視頻長期存儲的問題。最后， 視頻結(jié)構化可以盤活視頻數(shù)據(jù)，可作為數(shù)據(jù)挖掘基礎，視頻經(jīng)過結(jié)構化處理后，存入相應的結(jié)構化數(shù)據(jù)倉庫，對各類的數(shù)據(jù)倉庫可以進行深度的數(shù)據(jù)挖掘，充分發(fā)揮大數(shù)據(jù)作用，提升視頻數(shù)據(jù)的應用價值，提高視頻數(shù)據(jù)的分析和預測功能。

3 視頻結(jié)構化的應用領域

"公共安全"顧名思意,就是事關人民普通大眾的安全.它指得不是某人的安全,也不是某一個特殊群體(譬如某搶劫團伙)的安全,而是指身邊的普通大眾的安全. 公共安全“以人為本”，旨在保障國民安全和社會穩(wěn)定。隨著人類物質(zhì)文明的高度發(fā)展，國家、社會和個人對安全的依賴和企盼達到了前所未有的高度，公共安全所涉及的領域眾多： 公共安全包含信息安全，食品安全，公共衛(wèi)生安全，公眾出行規(guī)律安全、避難者行為安全，人員疏散的場地安全、建筑安全、城市生命線安全，惡意和非惡意的人身安全和人員疏散等； 公共安全事件包含自然災害、事故災難、公共衛(wèi)生事件、社會安全事件。 視頻數(shù)據(jù)作為物聯(lián)網(wǎng)視覺感知的重要來源，在公共安全領域發(fā)揮著越來越重要的作用。而視頻結(jié)構化描述是針對非結(jié)構化視頻數(shù)據(jù)的深入應用，使得視頻數(shù)據(jù)成為可感知，可描述的智能型數(shù)據(jù)。因此其應用領域極為廣泛，就公共安全來說，視頻結(jié)構化描述幾乎滲透到公共安全的方方面面。

4 視頻智能分析

視頻結(jié)構化描述是針對視頻內(nèi)容的智能結(jié)構化分析，將非結(jié)構化的視頻數(shù)據(jù)進過智能分析形成可供描述的結(jié)構化數(shù)據(jù)，因此視頻智能化分析是視頻結(jié)構化的核心技術。智能視頻分析技術質(zhì)量的優(yōu)劣對視頻結(jié)構化描述影響巨大，為了能更好地進行視頻結(jié)構化分析，智能視頻分析必須向如下三個方向進行創(chuàng)新：一、視頻前期處理技術，主要包括圖像防抖動和圖像增強。視頻抖動主要成因是道路監(jiān)控中高架安裝方式帶來的較高頻率的小幅抖動，視頻防抖動能有效抑制智能分析中的誤報和漏報，提高智能分析的準確率；圖像增強是對視頻源進行視覺改善處理，有效改善畫質(zhì)，提高圖像的清晰度，使原本低質(zhì)量的圖像達到清晰可辨程度。二、提升分析準確率技術。如人臉識別技術從最初的特征臉方法過渡到神經(jīng)元網(wǎng)絡方法，由可見光人臉識別到多源光人臉識別。同理，車輛和行為的智能分析也出現(xiàn)了更高效的分析技術。三、視頻后期處理技術，主要包括圖像復原和圖像摘要檢索等。圖像復原就是綜合利用超分辨率、去模糊濾波、變形矯正、色彩調(diào)整等對模糊視頻進行處理，使之清晰可辨。

5 視頻結(jié)構化需要突破瓶頸

海量的視頻圖像數(shù)據(jù)是公共安全部門信息化建設中積累的重要數(shù)據(jù)，通過對視頻內(nèi)容的分析和處理，快速準確的發(fā)現(xiàn)有效線索，能夠充分發(fā)揮視頻資源的作用。然而，在公安信息化建設深入開展的背景下，現(xiàn)有視頻資源缺乏深度應用的模式。其應用的瓶頸是視頻信息如何高效提取，如何同其他信息系統(tǒng)進行標準數(shù)據(jù)交換、互聯(lián)互通及語義互操作。解決這一問題的核心技術即是視頻結(jié)構化描述的技術。但是作為一項視頻處理的核心技術，其實現(xiàn)上仍有部分瓶頸需要突破，首先是視頻結(jié)構化核心算法技術的突破。如上文所述，視頻結(jié)構化描述技術與視頻智能分析技術息息相關，但是當下視頻智能分析技術受到各種應用環(huán)境的制約，以人臉識別為例，當下的人臉識別多半是配合式、重復式應用場景，在這種應用場景下，人臉的識別率基本能達到實用要求，而在無配合、多人臉、動態(tài)視頻的場景下就很難達到實用目標。為了解決這類問題，人臉識別的算法也從最初的模式識別進化到深度的神經(jīng)元網(wǎng)絡學習模式，使得人臉檢測和識別的準確度大大地提高，但是由此帶來的負面效應也相當明顯，首當其沖的就是運算復雜度的提升，需要耗費大量的計算資源，針對這一瓶頸很多業(yè)內(nèi)公司推出了各種解決方案，如計算前端推移，后端借助GPU實現(xiàn)集群化計算等，所有的這些方向都為后續(xù)的視頻結(jié)構化描述的實際應用做前瞻，實現(xiàn)高效精準的視頻結(jié)構化描述技術成為今后一段時間各個算法研究機構的努力方向。其次是視頻結(jié)構化描述數(shù)據(jù)存儲，檢索和應用技術，隨著數(shù)據(jù)容量的快速增長，結(jié)構化視頻描述也越來越具備“大數(shù)據(jù)”的4V特征。如何實現(xiàn)視頻結(jié)構化數(shù)據(jù)的大容量、高效存儲、高效檢索以及快速實現(xiàn)數(shù)據(jù)應用，為最終用戶提供高效靈活的服務，都將成為今后各大視頻綜合應用廠家面臨的問題。再次是頂層設計，構建標準體系。通過對視頻結(jié)構化技術自身特點和應用模式的研究，建立有關視頻結(jié)構化描述的標準體系模型，制定覆蓋技術實現(xiàn)和應用系統(tǒng)的標準化體系，有步驟地制定相關標準，以規(guī)范技術研究和設備開發(fā)，指導系統(tǒng)建設、運行以及評估的各個方面，從源頭上為視頻信息情報化應用的全面展開打好基礎。在這方面由全國安全防范報警系統(tǒng)標準化技術委員會（SAC/TC100）歸口并組織起草的國家標準GB/T30147-2013《安防監(jiān)控視頻實時智能分析設備技術要求》和GB/T30148-2013《安全防范報警設備電磁兼容抗擾度要求和試驗方法》，經(jīng)過國家標準管理委員會發(fā)布，已于2014年8月1日起實施。這些標準的制定，為視頻結(jié)構化描述建立共同遵守的規(guī)則和行為規(guī)范，使視頻結(jié)構化大規(guī)模應用成為可能。最后是視頻結(jié)構化數(shù)據(jù)應用大平臺建設，隨著視頻結(jié)構化技術的日趨成熟，如何采集和管理這些巨量的視頻結(jié)構化描述數(shù)據(jù)，如何面向公共安全部門提供快速、高效、專業(yè)、個性化的服務也是擺在服務商與業(yè)主面前的難題。例如許多廠家采用“云”和“大數(shù)據(jù)”框架模型做視頻結(jié)構化描述技術的平臺架構來滿足大數(shù)據(jù)量的數(shù)據(jù)存儲、生命周期管理以及數(shù)據(jù)的快速響應。

6 視頻結(jié)構化描述技術發(fā)展前景

視頻結(jié)構化描述技術緊緊貼合視頻內(nèi)容的分析、提取，將非結(jié)構化視頻數(shù)據(jù)處理成可供快速檢索定位的信息化數(shù)據(jù)。隨著視頻結(jié)構化描述技術的發(fā)展和成熟，必然為視頻數(shù)據(jù)的信息化、情報化、智能化提供強有力的支撐，變視頻的被動防御為主動識別，使相應的系統(tǒng)成為智能，主動式防控系統(tǒng)成為可能，從而打通系統(tǒng)間視頻情報傳遞、打通從前端采集到后端情報化應用。隨著近年視頻系統(tǒng)的建設，社會上已經(jīng)存在巨量的視頻數(shù)據(jù)并且仍然在實時地產(chǎn)生大量的視頻數(shù)據(jù)，所有的這些都為視頻結(jié)構化描述技術提供了廣闊的市場前景。