1. 概述

監控視頻技術經歷了模擬時代，進入了數字化時代。在數字化監控的進程中，目前正處在從數字化、網絡化、高清化向智能化的發展過程中。其中智能化的監控視頻分析是當前重點發展方向之一，人們希望通過智能分析取代大量繁重的人工對監控視頻內容的察看、分析和總結。

智能化涉及到對監控視頻圖像的種種處理，從技術的層面上大致可以分為三個層次：注重于像素或像塊的視頻圖像處理，注重于圖像特征和目標的視頻圖像分析，注重于圖像內容語義的智能分析。用通俗的話說，監控視頻圖像處理的目標是“看清楚”監控的場景，包含去噪聲、去模糊、去抖動、去霧霾、超分辨率重建、動態范圍擴展等措施;監控視頻圖像分析的目標是“看明白”監控的對象，包含車牌識別、人臉識別、人流統計等方面;智能監控視頻分析的目標是“看懂”監控場景內容的語義(semantics)，即給出人能夠理解的分析結果，如這里發生了什么，這里有什么等。它包含多種智能分析技術，如行為識別、入侵檢測、遺留物檢測、群體行為識別、違規車輛檢測等方面。

在這三個層次中，顯然智能監控視頻分析是我們最終的目標，替代人工對視頻監控內容的觀察、分析和判斷，甚至比我們人類在某些方面更加準確和快捷。但是，要達到這一目標，必須向智能分析系統提供盡可能清楚的視頻圖像，盡可能準確的目標劃分和識別的結果，我們將這些技術稱之為智能視頻分析的基礎技術，即視頻圖像處理和分析。如果所提供的圖像達不到這樣的要求，則很難指望智能分析系統會獲得正確的分析結果。因此，我們說智能視頻分析固然重要，智能分析的具體方法固然重要，但是提供優質視頻圖像的基礎技術在當前視頻分析智能化的起始發展階段尤為重要。

目前從應用的角度看，智能視頻分析雖然取得了長足的進展，但仍然有太多的內容需要研究和開發，智能視頻分析技術尚處于視頻處理和視頻分析的“初級階段”，這一部分是當下實際應用場合中重點關注的內容。基礎的監控視頻處理和分析技術包含很多的方面，除了經典的視頻處理技術如圖像增強、圖像去噪等技術外，目前大家較為關注的主要有圖像去霧，動態范圍擴展，超分辨率重建，車牌識別，人臉識別，……，等多項技術。下面以在視頻監控行業小有名氣的VAIS(Video Analysis Instrument System)——迅通視頻圖像分析系統為例，著重介紹視頻圖像處理和視頻圖像分析這兩方面的基礎處理技術。

2. 視頻圖像處理

2.1 去霧增透處理

由于大氣散射作用，霧天天氣條件下獲取的視頻圖像較為模糊，嚴重地影響著圖像的視覺效果。其原因主要在于目標光線在傳播過程中遭到霧氣的衰減而導致了圖像細節的丟失，清晰度不夠;周圍環境光的參與造成了圖像顏色的失真，色調平淡。

為了改善這類霧天圖像，可采取視頻去霧增透技術(簡稱透霧技術)，將因霧氣和灰塵等導致朦朧不清的圖像變得清晰，發掘出更多的圖像所包含的信息，為下一步對圖像的智能分析應用提供良好的條件。

目前的透霧處理方法主要分為兩類：霧天圖像增強和霧天圖像復原。霧天圖像增強方法現對比較簡單，它不考慮圖像降質原因，只針對圖像的色彩進行處理，能有效地提高霧天圖像的對比度，突出圖像的細節，改善圖像的視覺效果，但可能會造成一定的信息損失。

霧天圖像復原針對霧天圖像質量退化的機理，建立霧氣圖像退化模型，然后用圖像復原的方法，對霧天退化圖像進行復原，補償退化過程造成的失真，獲得對無霧圖像的最優估計，從而改善霧天圖像質量。這種方法針對性強，得到的去霧效果自然，信息損失小，處理的關鍵是模型中參數的估計。圖1為VAIS系統采用基于物理模型的快速實時去霧方法對霧天圖像增透處理的一例。

(a) 透霧處理前 (b) 透霧處理后

圖1 透霧處理效果對比

2.2 超分辨率重建

隨著人們對監控圖像質量的要求越來越高，提升監控圖像的分辨率已經成為整個安防行業的一項迫切要求。提高圖像分辨率最直接的辦法就是提高采集設備(如攝像機)的傳感器密度。但是，一方面高密度的圖像傳感器的價格相對昂貴，在一般應用中難以承受;另一方面，由于成像系統受其傳感器陣列密度的限制，目前已接近極限。

在這樣的情況下，解決這一問題的一個有效途徑是就采用基于信號處理的軟件方法對圖像的空間分辨率進行提高，即超分辨率(SR：Super-Resolution)圖像重建，將采集到的低分辨率圖像通過一定算法重建為高分辨率圖像。VAIS的SR重建的核心方法是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率，實現時間分辨率向空間分辨率的轉換，使得重建圖像的視覺效果超過任何一幀低分辨率圖像。圖2出示了一幅低分辨率視頻圖像經過超分辨率重建以后形成的高分辨率圖像的前后對比。

(a) 原始低分辨率圖像 (b) 重建后的高分辨率圖像

圖2 超分辨率圖像重建對比

2.3 動態范圍擴展

在不少視頻監控場合，常常會由于光線的原因產生彩色(亮度)動態范圍偏離的圖像，出現整體或局部的“曝光”不足或“曝光”過度。對這類視頻圖像的處理主要是糾正彩色動態范圍的偏離，包括兩個方面：對背光圖像的處理和對暗光(如夜晚場景)圖像的處理。

(1)暗光圖像的處理

夜晚場景下采集的圖像由于光照強度不足，導致圖像亮度及對比度降低，丟失顏色等細節信息，增加了圖像的噪聲，從而降低了圖像質量，嚴重影響了圖像的使用和進一步的智能分析處理。目前比較流行的暗光圖像處理的方法是Retinex算法，從給定的圖像中分離出亮度圖像和反射圖像，在彩色恒定的條件下，通過改變亮度圖像和反射圖像在原圖像中的比例來達到增強暗光圖像的目的。但這種方法的計算量非常大，很難應用于實時處理。為此VAIS系統通過統計分析后發現反轉后的暗光圖像與霧天圖像具有類似的統計特征，在此基礎上設計了一種新的基于圖像去霧法的擴展圖像動態范圍的快速算法，對反轉的暗光圖像進行處理，處理完畢再進行翻轉就成為擴展了動態范圍的圖像。圖3為暗光圖像動態范圍擴展的一例，圖像的動態范圍的改善和Retinex算法相當，但處理速度很快，能夠滿足實時應用的要求。

(a) 暗光處理前 (b) 暗光處理后

圖3 暗光處理效果對比

(2)背光圖像的處理

在視頻采集過程中，如果攝像機正對光源，這部分非常亮，而場景中的目標物體比光源暗得多，由于攝像機的動態范圍的限制，從而導致目標區域的亮度非常暗，看不清細節，這就是所謂的背光現象。很明顯，背光圖像補償處理的關鍵就在于提高目標區域的亮度，降低光源部分的亮度，同時保證整幅圖像自然過渡的平滑特性。VAIS系統對背光圖像采用類似暗光圖像處理的方法，即基于圖像去霧法的方法來處理背光圖像的。背光補償前后效果對比的一個實例如圖4所示。

(a) 背光補償前 (b) 背光補償后

圖4 背光處理效果對比

3. 視頻圖像分析

3.1 人臉識別

基于圖像處理的人臉識別技術大體上可分兩類，一類是合作型人臉識別，就是大家常見的用于考勤、門禁、會議簽到等場合的身份識別方式，目前這一類技術已比較成熟;另一類則是非合作型人臉檢測和識別技術，最典型的就是監控視頻中目標人物的臉部檢測與識別，這一類技術還不夠完善，還有許多問題有待解決。

目前，在監控視頻的應用中，大部分是非合作方式的人臉檢測和識別，由于無法得到目標人員的配合，再加上各種不利環境因素的影響，使得視頻中人臉圖像的精度不高、面部模糊、角度變化大，從而導致很難做高精度的人臉檢測和人臉識別。

VASI系統關注的就是非合作型的這一類人臉識別技術，致力于在小樣本庫的人臉識別中的算法優化，因而具有較高的人臉檢測和識別率。VAIS系統將視頻場景內捕獲并檢測到的所有人臉圖像傳送至VAIS的人臉識別部分，采用WSR與LCR算法對模糊人臉進行重建后，然后將他們與VAIS系統數據庫的人臉數據進行多次比對，篩選出最接近的一個或多個人臉數據，供使用者進行目標身份確認，或者起到對使用者一個提示、警示的作用，提醒使用者進行進一步的身份核實。這種人臉識別方式在不少場合是非常有用的，如酒店、銀行、機場、碼頭、海關等處的VIP或黑名單用戶的初步識別與提示等。

3.2 車牌識別

車牌識別技術主要包括兩類，一類是相對靜止的卡口車牌識別，另一類是車輛處于運動狀態的車牌識別。

對于停車場卡口類的車牌識別，由于車輛的靜止或速度較慢，再加上車輛對檢測的配合，因而相對容易，識別率也很高。VAIS系統對此類車牌識別，只要攝像機捕獲的車牌圖片寬度達到30個像素以上，就能準確識別出車牌號碼，準確率幾乎為百分之百。

對于行駛中車輛的牌照識別，如道路上車輛、甚至是逃逸的車輛等，由于復雜的環境、高速的運動、其他車輛的遮擋等不利因素存在，大大增加了車牌分割和車號識別的技術難度。VAIS系統在這種情況下利用監控場景中目標之間存在的關聯和約束，能夠以比較高的準確率識別出大部分模糊車牌號碼。目前VAIS已多次成功協助公安部門從車牌識別入手快速偵破不同程度的棘手案件。今后隨著VAIS模糊車牌自動識別技術的不斷完善，車牌識別準確率還將不斷提高。

圖5為一小區內可疑車輛車牌自動識別的一個實例，在經過VAIS系統對模糊車牌的取點分割，運行識別算法處理后自動輸出車牌號為624M4。圖6為對高速路上快速行駛車輛車牌自動識別一例，識別出的車牌號為422AF。

圖5 卡口車輛車牌識別一例 圖6 行駛車輛車牌識別一例

4. 結語

在智能監控視頻分析技術飛速發展的過程中，當我們遇到困難或出現差錯時，往往問題的源頭還是在提供給智能分析系統的圖像本身的質量不佳，如圖像不清晰，目標劃分不準確，圖像內容暗淡等，所以，加強視頻圖像的處理和初步分析，是獲得智能視頻分析的準確結果的最為關鍵的必要條件之一。

以上我們簡單介紹了幾項重要的視頻圖像處理和分析技術，包括圖像透霧處理、暗光圖像和背光圖像的均衡處理，人臉的檢測和識別技術，車牌的檢測和識別技術等，這些都是VAIS智能視頻分析系統所具備的基本功能，在實際應用中已經取得了良好的成績。除了上面介紹的幾種特殊的視頻處理方法外，還有多種其它的預處理方法，例如感興趣區域的處理，防抖動處理，動態目標鎖定處理，對該目標進行跟蹤和增析處理。

只有打牢了視頻處理和分析的基礎，才有可能在此基礎上進行智能視頻分析，VAIS朝這一方向努力正在進行中，結合海量視頻數據(大數據)的挖掘，采用人工智能中的機器學習方法，尤其是結語人工神經網絡的深度學習方法，正在將一步一步地提高智能監控視頻分析的速度和準確性，一步一步地推向實用。