隨著現代信息社會的不斷發展,人們對安全的需求不斷增加,使得視頻監控系統在安全防范領域的運用越來越廣泛,因而它是實施安全監控的重要技術手段。但目前所使用的視頻監控系統,缺乏對視頻內容的智能分析,而主要靠人的視覺,使得視頻監控系統只能完成時間的視頻存儲記錄,而僅成為事后分析提供證據。這樣,不能在事前提供預/報警,而不能真正起到保平安的作用。
隨著光電等高新科學技術的發展,視頻監控系統也由數字化、網絡化,而正在逐步走向高清化并向智能化發展。所謂視頻監控系統的智能化,是指在不需要人為干預的情況下,系統能自動實現對監控圖像畫面中的異常情況進行檢測、分析與識別,并及時作出預/報警。由于智能視頻監控系統更能滿足人們對安全的需求,因而國內外有眼光和研發能力的安防監控企業已紛紛投入研發。現在,國內外市場已有智能視頻監控產品問世。
隨著國外的監控產品供應商不斷向國內引進智能化產品,以及國內的智能視頻監控產品的不斷出現,是否有智能視頻分析作用的產品就是智能化產品?它們的智能視頻分析識別能否起作用?在什么情況下起作用?能否滿足我們在不同場合對安全的不同層次的需求?能否給人們提供最大的安全效益而真正保平安?視頻監控系統怎樣才算是智能化?智能視頻監控產品與智能視頻分析技術有何關系?安防工程商怎樣才能選擇出實用的智能視頻監控產品?這些都是我們極其關心的問題。
眾所周知,安防工程商接到安防監控系統工程后,是根據產品供應商提供的全套的說明而選用的。但產品供應商本著追求自身最大經濟效益的原則,往往在說明書中不切實際地夸大自己的產品,一般是什么產品最賺錢就賣什么。而安防工程商對新產品的智能化情況并不了解,它到底能達到多大的安全效益也不是很清楚,因而造成許多投入使用的系統設備并不能滿足實際的安全需求的狀況,甚至有的在建成使用過程中成了一種擺設,形同虛設。這無疑對用戶的投資是一種極大的浪費。
如果用戶能對使用的視頻監控產品進行智能化的評估,或者這些產品均有權威評估鑒定部門請專家進行過評估,其效果就完全不一樣了。這樣,安防工程商不僅可以根據用戶的安全需求選用性價比最高的最恰當的智能產品,以最大限度地節約投資成本。而且,也可以充分利用其智能化功能,在安全威脅發生之前就能夠提示監控人員關注相關監控畫面,為潛在威脅做好準備工作,從而最大限度地滿足用戶的安全需求,以建成性能最優良的系統。這樣,用戶就不會盲目地為追究高尖端產品而投入大量的資金,造成極大的浪費,反而會理性地根據自己對某方面的安全需求而進行合理選擇,一方面節約投資成本,另一方面也滿足更高層次的安全需求。
因此,對視頻監控產品及其智能視頻分析技術的作用進行智能化的評估是非常有必要的。它不僅能評估該產品智能視頻分析識別的作用有效與否,而且能重要地評估其智能化的水平與等級,以供安防工程商與用戶選用參考。目前,安防行業的評估工作的開展是較為緩慢的,針對安全防范系統的評估還缺乏一整套規范的評估方法和步驟。本文就智能視頻監控產品智能視頻分析技術及其作用、智能視頻監控產品的等級與智能視頻分析技術作用的關系,如何評估智能視頻分析技術的作用及評估的方法和步驟等,談談自己的看法,以供安防工程商與用戶選用參考。
智能視頻分析技術及其作用
視頻分析技術是用計算機從視頻中通過運算和分析,提取視頻中有用信息的一項技術。對人類來說,我們可以通過觀察視頻圖像,智能化地提取所需目標信息。但對計算機來說,只是一個數據數列,一個包含每一幀每一個像素點的灰度值或彩色值的數列。其目標信息是包含在那些像素點的值所組成的平面圖像序列中的,是需要從"整體"上進行"理解"才能獲得的。視頻分析技術便是為了讓計算機通過特定的核心算法程序提取視頻信號中所包含的內容信息或個體運動信息,以實現計算機對于視頻的理解,讓計算機能"明白"視頻中所展現的是什么內容或者發生的是什么樣的事情,即"事件"。
視頻分析技術范圍很廣,只要是從視頻中通過運算處理,提取有用信息都可以稱為視頻分析技術。由于都是屬于對視頻內容的"分析、識別和理解",因而目前已經比較成熟并已形成產品在實際項目中得到應用的技術,如車牌識別技術、視頻檢索技術、視頻人臉檢測等,都屬于"視頻分析技術"。因為它們都屬于對視頻中的有用信息的提取,如提取車牌號碼,提取視頻中的文字或特定圖形等。嚴格講,這些技術都只是視頻分析技術中的比較簡單的內容,只不過由于這些技術已得到較好地研究和應用,有了一些專門的稱謂,才單獨提了出來。目前,通常所說的視頻分析技術一般特指從視頻中目標運動行為的分析、提取和識別,它常用于安防監控領域,其所指代的范圍比之字面意思的含義已大幅縮小。
視頻分析技術的作用是,讓計算機知道視頻中"發生的是什么事",再與對應的規則相比對和判斷,自然就能夠讓計算機知道這些事件的特性。如果從視頻中個體運動行為的分析、提取和識別角度來看,就能令計算機判斷出這些個體進行了一些什么行為,進而可以判斷這些行為是否符合某些規則,是否屬于"某一類型"的行為。這樣,對于不符合規則的事件就可以進行即時的發現和報警,從而可擺脫人工的干預和判斷,實現令計算機"代替"人進行監控,也即實現了自動監控或"智能監控"。更形象地解釋是,視頻監控系統中的攝像機和視頻傳輸技術解決了"眼睛"(視網膜成像與視神經)的問題,使監控人員能夠不在現場的情況下通過攝像機看到現場的情景。而這一現場,還由于傳輸技術的進步擺脫了地域的限制,甚至可以在千里之外通過數字網絡傳輸看到;而視頻分析技術則給視頻監控系統加上了"大腦",使安防監控系統至少在一定程度上能夠代替人來隨時監看這些視頻。這樣,就不需要再由人工隨時去監看這些視頻了。
[page]
實際上,智能視頻分析技術,起源于計算機視覺技術。計算機視覺,是人工智能研究的分支之一,它能夠在圖像及圖像描述之間建立映射關系,從而能夠通過數字圖像處理和分析來理解視頻畫面中的內容。計算機視覺技術可分為低層視覺技術與高層視覺技術。低層視覺技術要解決特征提取、運動檢測、多目標根蹤等基本問題;高層視覺技術要解決對場景的語義理解,如目標運動軌跡的判別,異常行為異常事件的最終結論等。因此,在計算機視覺領域中,一個最根本的問題就是如何從底層原始視頻數據得到高層的語義理解,而智能視頻監控技術中的智能視頻分析技術的研究正是緊緊圍繞這個基本問題,其研究范圍不是僅局限于某個特定問題,而是涉及到計算機視覺中從底層到高層的許多基本問題。
智能視頻監控技術主要是對視頻自動進行分析,從視頻中提取關鍵信息,發現與識別異常的感興趣事件,從而可以替代人為監控或者協助人為監控。顯然,視頻分析與識別涉及到復雜的軟件算法,它可以通過編程識別出奇怪與異常的行為。視頻內容分析與識別軟件能通過分析現場或記錄的視頻流,檢測識別出可疑的活動、事件或者行為模式。視頻監控系統的智能化是指在不需要人為干預的情況下,系統能自動實現對監控畫面中的異常情況進行檢測、識別,并及時作出預/報警。
視頻分析技術通常采用背景減除技術來進行圖像變化的檢測(如入侵、丟包、逆行等都是一種模式的圖像變化),即對視頻幀與基準背景圖像進行比較,相同位置的像素(區域)變化則認為是變化了的區域,對這些區域進一步處理、識別、跟蹤,得到包括目標位置、尺寸、形狀、速度、停留時間等基本形態信息和動態信息,完成目標的跟蹤和行為理解之后,也就完成了圖像與圖像描述之間的映射關系,從而使系統進一步進行規則判定,直到觸發報警。
目前,普遍使用的運動目標檢測方法就是背景減除法,其算法雖較簡單,但仍然會受到光線、天氣等自然條件及背景自身變化(海浪、云影、樹葉搖動等情況)的影響。針對不同的天氣以及自然干擾,已應用有多種附加算法(過濾器)來彌補這些干擾。隨著光電圖像處理技木及微電子技術的發展,相信智能視頻分析技術會進一步成熟。
從廣義上來說,我們也可以把智能視頻分析技術分為如下三類:
視頻分析類
該類主要是在監控圖像中找出目標,并檢測目標的運動特征屬性。如目標相對的像素點位置,目標的移動方向及相對像素點移動速度,目標本身在畫面中的形狀及其改變。根據以上的基本功能,視頻分析可分為以下幾個功能模塊:
①周界入侵檢測、目標移動方向檢測;
②目標運動、停止狀態改變檢測;
③目標出現與消失檢測;
④人流量、車流量統計;
⑤PTZ自動追蹤系統;
⑥系統智能自檢功能等。
視頻識別類
該類包括人臉識別、步態識別與車牌識別,其主要技術是在視頻圖像中找出局部中一些畫面的共性。如人臉必然有兩個眼睛,如果我們可以找到雙目的位置,那么就可以定性人臉的位置及尺寸。不過,以現有的技術來說,人臉識別系統必須在雙目可視的情況下,才可進行人臉比對。其主要包括:
①人臉識別系統;
②步態識別系統;
③車牌識別系統;
④照片比對系統;
⑤工業自動化上的零件識別即機器視覺系統等。
[page] 視頻改善類
該類主要是將一些不可視、模糊不清,或者是對振動的圖像進行一些優化處理,以增加視頻的可監控性能。具體包括:
①紅外夜視圖像增強處理;
②車牌識別影像消模糊處理;
③光變與陰影抑制處理;
④潮汐與物體尺寸過濾處理;
⑤視頻圖像穩定系統等。
智能視頻監控系統或產品與智能視頻分析技術作用的關系
安防行業的評估工作起步較晚,目前該領域的評估主要是借鑒安全生產領域的評價方法來進行評估。如專家打分法、加權平均法、層次分析法、灰色系統法,或有的借鑒國外的效能評估的方法來對安全防范系統進行評估等等。但視頻監控系統的智能化評估,對于該系統智能視頻分析與識別技術能否起作用,能否真正發揮安全效益又至關重要。因此,必須研究出一種對智能視頻監控系統或產品以及智能視頻分析技術進行智能化評估的有效方法。
作為世界知名的智能監控供應商之一的澳大利亞的iOmniscient公司,通過討論的方式,仿照人智力水平高低的分類標準,在世界上率先建立了一種視頻監控系統的智能IQ(智商)評級系統。這種智能IQ評級系統的思路對視頻監控系統評估方法的建立也是一種很好的嘗試。國內有人仿照這種思路,提出建立一種視頻監控系統智能化的評估方法,即智能IQ評級法。智能IQ評級法把系統的智能IQ定為60-180之間,并按照系統的檢測能力劃分為7個等級范圍。但這種方法不太符合中國人的習慣,因為我們中國人習慣于百分制或5級計分制。下面我參照智能IQ評級法提出一種適于我國的實用的5個等級計分的智能化評估的方法,供視頻監控系統的智能化評估法的法規制定者們參考。
這種5個等級計分的智能化評估方法的等級劃分是:
第一個等級范圍的產品
該等級范圍的產品或系統的智能IQ為1分,或小于50分,即智能化水平極差。一般,采用視頻移動偵測VMD來探測監控現場的移動情況。即通過一幀影像的像素和緊接著的下一幀影像的像素比較,就構成了視頻移動偵測的最簡單形式。如果有一點差異,就意味著監控現場有一些變化,通常都被稱為有移動。顯然,僅能偵測到視頻有移動的系統沒有多少智能,且很容易產生誤報警。
因為實際上一些干擾,如光線的變化、水的反射、陰影或者其他的變化都會使系統認為有移動而發出誤報警。因此,這一個等級范圍的產品,智能視頻分析的作用極差,所以該產品根本不能實用。
第二個等級范圍的產品
該等級范圍的產品或系統的智能IQ為2分,或大于等于50而小于60分,即智能化水平不及格。該等級范圍的產品或系統不僅能排除第一個等級范圍的干擾,還能夠分析進入監控畫面的目標特征(比如目標的大小或者形狀),因而能夠區分出是人還是其他的動物,或者是小汽車還是卡車等。
這一等級范圍的產品或系統雖能識別出人與物(即目標的大小或形狀),但不能判別人與物的行為異常,其智能視頻分析的作用還比較差,即不及格,因而該產品也未達到實用。
[page] 第三個等級范圍的產品
該等級范圍的產品或系統的智能IQ為3分,或大于等于60而小于75分,即智能化水平為及格或中等。該等級范圍的產品或系統除能夠排除干擾清楚區分人與物外,并在室溫條件下還能夠簡單區分與識別人與物的行為異常,如實現遺棄物檢測,人與物的過線檢測,并能準確地對人與物進行統計計算。該等級范圍的產品或系統被設置了較好的專業算法,因而使其計算比較精確。
這一等級范圍的產品或系統能在室溫等室內條件下識別出人與物的某些異常行為,其智能視頻分析的作用還可以,即達到及格,因而該產品還能夠應用,但只能限于在室內常溫等條件下的應用。
第四個等級范圍的產品
該等級范圍的產品或系統的智能IQ為4分,或大于等于75而小于85,即智能化水平為良好。該等級范圍的產品或系統能實現行為分析,即能夠區分與識別更多的人與物的行為異常,如系統能在室外環境檢測到上一個等級的異常外,還能在室外檢測到目標的游蕩、跑動、滑動和下落(如人從樓上跌下)、人的打架斗毆、汽車撞人或兩車相撞、室內外出現的火災前兆等異常行為。
該等級范圍的產品或系統還可以檢測到擁擠場景中的遺棄物(丟棄物),能非常有效地檢測諸如機場被單獨留下的行李,或者博物館和倉庫中存放的可能被盜的物品。一般能與防盜、防火、門禁等系統聯動,并能較準確地檢測識別人的面像、步態、聲音等。
這一等級范圍的產品或系統能在一般室外等條件下識別出人與物的行為異常,其智能視頻分析的作用不錯,排干擾的能力較好,即達到良好,因而該產品能獲得室內外使用。
第五個等級范圍的產品
該等級范圍的產品或系統的智能IQ為5分,或大于等于85分到100分,即智能化水平為優秀。該等級范圍的產品或系統可以實現擁擠場景(比如機場候機大廳、火車站檢票口)的檢測。系統可以提供多種功能,如計算某時間段非常擁擠的場景中有多少人;如果單位時間通過入口的人數過多(系統可以預先設定)就會發出警報等。
該產品或系統能比第4個等級范圍更惡劣的氣候條件下檢測到上述等級的人與物的行為異常外,并能檢測到更全面更多的人與物的行為異常,如人的蒙面、拿出刀或槍對準人等,并能準確地與防盜、防火、門禁等系統聯動,能準確地檢測識別人的面像、步態、聲音等。尤其處于95分以上的系統,能排除一切干擾,檢測分辨個體極小或者對比反差極低而人眼看不到的目標。
顯然,處于該等級的視頻監控系統的智能視頻分析的作用非常好,即為優秀等級。因為它能排除一切干擾,并可在極惡劣的環境下使用,因而其智能化水平是極高的。
由上可知,不是只要有智能視頻分析作用的產品就是智能化的好產品,關鍵是看它屬于哪個等級。如產品只是屬于第一、二個等級范圍的,雖然它也有智能視頻分析的作用,但作用差而不能在安防中實用;而屬于第三、四、五個等級范圍的產品的智能視頻分析的作用才是有效的、好的,即是安防中所需的實用的產品。因此,對有智能視頻分析作用的產品,必須要進行智能化等級范圍的評估,只有屬于第三、四、五個等級范圍的產品,安防工程商與用戶才能選用。
[page] 評估智能視頻分析技術的方法和步驟
由上可知,不是只要有智能視頻分析作用功能的產品就是已“智能化”的產品,我們必須要進行智能化評估,看其智能視頻分析作用功能有多少,能否起作用等,從而可幫助用戶選擇所需要的智能化水平的視頻監控系統設備產品。
評估的方法
看智能化產品屬于哪個等級即可了解智能視頻分析的作用
具體的評估方法可用“5個等級計分的智能化評估方法的等級劃分”來評估智能視頻分析技術的作用。第一個等級范圍的產品,其智能視頻分析的作用極差,根本不能實用;第二個等級范圍的產品,雖能識別出人與物(即目標的大小或形狀),但不能判別人與物的行為異常,其智能視頻分析的作用不及格,因而該產品也不能達到實用;第三個等級范圍的產品,能在室溫等室內條件下識別出人與物的某些異常行為,其智能視頻分析的作用還可以,即達到及格,因而該產品只能限于在室內常溫等條件下的應用;第四個等級范圍的產品,可以檢測到擁擠場景中的遺棄物(丟棄物),能非常有效地檢測諸如機場被單獨留下的行李,或者博物館和倉庫中存放的可能被盜的物品。一般能與防盜、防火、門禁等系統聯動,并能較準確地檢測識別人的面像、步態或聲音等。這一等級范圍的產品或系統能在一般室外等條件下識別出人與物的行為異常,其智能視頻分析的作用不錯,抗干擾的能力較好,即達到良好,因而該產品能獲得室內外使用;第五個等級范圍的產品,能比第四個等級范圍更惡劣的氣候條件下檢測到上述等級的人與物的行為異常外,并能檢測到更全面更多的人與物的行為異常,如人的蒙面、拿出刀或槍對準人等,并能準確地與防盜、防火、門禁等系統聯動,能準確地檢測識別人的面像、步態、聲音等。由于它能排除一切干擾,并可在極惡劣的環境下使用,因而該等級為優秀等級,其智能視頻分析的作用非常好,即智能化水平極高(這是我們努力的方向)。
從智能軟件算法評估智能視頻分析技術的作用
智能視頻分析與識別技術的核心是智能軟件算法。因此,可從智能軟件算法著手評估智能視頻分析與識別技術的作用是否真正實用。一般,起作用的智能視頻分析與識別技術,即實用的智能軟件算法,主要看是否能滿足下列幾點要求:
不同的監控場景與智能軟件算法數學模型之間是否有較好的吻合程度。所用的智能軟件算法的數學模型是否考慮到不同的監控場景的因素的影響,即是否使監控環境與智能軟件算法模型達到最大的一致性。如將目標尺寸作為重要的分類特征時,通常在大景深的場景中,目標尺寸變化幅度很大,此時目標分類的精度就會大大降低。這可通過降低場景的景深,或加入場景標定算法,或降低尺寸特征在分類算法中的權重等方法解決。
智能軟件算法框架中是否根據不同場景附加了一些軟件模塊:
●對安置在汽車等移動物體上的攝像機獲取的視頻圖像,必須要增加一個抗抖動軟件模塊,這樣就可以提升在攝像機抖動情況下的處理效果;
●在陰影嚴重的室外場景下,要增加陰影抑制軟件模塊,從而可提升在陰影嚴重的室外場景下的處理效果;
●在光照劇烈變化場景下,要增加光變抑制軟件模塊,從而可提升在光照劇烈變化場景下的處理效果;
●在目標圖像頻繁互相遮擋場景下,可增加遮擋處理軟件模塊,以提升在目標圖像頻繁互相遮擋場景下的跟蹤精度等。
是否考慮到低照度、高擾動、高擁擠程度等復雜的監控場景的視頻對系統性能的影響。
如有否潮汐過濾器,即過濾掉在形狀上經常變化或移動方向不規則,速度過快的物體,如水面反射的陽光等。
是否有物體尺寸過濾器(即過濾掉太大或太小的物體)與物體尺寸驟變過濾器(即過濾掉尺寸瞬間巨變的物體),以免錯誤報警等。
[page] 評估的步驟
一個智能視頻監控系統或產品及其智能視頻分析技術的作用的智能化評估,可按下列具體步驟進行:
組織智能化評估的專家評估鑒定組
首先,為進行準確可靠的評估,必須組織5人或以上的副高級職稱以上的真正的安防監控技術或光電信息技術專家,以組成智能化評估的專家評估鑒定組。
對送審材料進行智能化水平的評估
其次,由副高級職稱以上的安防監控或光電信息技術專家對送審材料進行理論上的智能化水平的初步評估。
測試監控現場的環境條件
再次,由副高級職稱以上的安防監控或光電信息技術專家組織測試監控現場的環境條件,并評定其智能軟件算法模型與監控現場的環境條件的吻合程度。
模仿人與物的異常,對視頻監控系統或產品的實際智能化功能進行測試
第四步,在監控現場的環境條件下,模仿人與物的異常,由副高級職稱以上的安防監控或光電信息技術專家組織對視頻監控系統或產品在不同距離條件下測試的實際智能化功能,并按5級計分評估法進行測試評估。
專家綜合評估打分
最后,由副高級職稱以上的安防監控或光電信息技術專家根據上述情況按5級計分評估法進行綜合評估打分,并最后簽字認可,以形成評估鑒定的最后結論性意見。
結束語
由上可知,不是只要有智能視頻分析作用功能的產品就是已“智能化”的產品,我們必須要對智能視頻監控系統或產品及其智能視頻分析技術的作用進行智能化評估,看其是屬于哪個等級范圍的產品,其智能視頻分析作用功能有多少,能否起作用,其智能軟件算法是否與所需監控場景的環境吻合,有否附加一些所需的軟件模塊等,從而可幫助用戶選擇所需要的實用的智能化水平的視頻監控系統設備產品。
本文提出的智能化評估的五個等級范圍的方法,也僅是一初步設想,可能存在許多不足之處,希望對安全防范技術系統的評估有一定的借鑒價值,或對整個安防領域評估工作的開展能提供一種思路。
隨著安防行業的不斷發展和評估工作的不斷進步,相信會有更完善更好的評估方法出現,以使我國安防行業的評估工作能走上正軌。