市場調研機構IHS的分析報告指出,2014年全球視頻監控市場將繼續保持12%以上的增長速度,整體市場銷售額將從2013年的140億美元上升到近160億美元,其中,智能視頻分析應用將是重要的一個增長點。針對近一段時期智能視頻監控應用的發展,該報告進一步表示,帶有基本視頻內容分析功能的監控設備將從2014年起迅速增長,甚至成為監控攝像機的標準配置之一;而與此同時,市場對更專業、更高級的視頻分析技術(如音頻分析、人臉識別、人流統計等)的需求仍然有增無減。
提升檢測可靠性是關鍵
從實際應用效果來看,目前較為成熟的視頻分析處理技術包括邊界防范、移動偵測、文字(車牌)識別等,應用領域多集中在交通監控管理、家居布防,以及銀行、監獄等安全級別較高的場所。伴隨著近年來物聯網、智慧城市等建設項目在國內的蓬勃開展,監控系統正進入到一個海量數據時代,要提高視頻資源的利用率和商業價值,就必須運用更先進的智能視頻分析技術進行深入的視頻數據挖掘、檢測和管理。包括交通管理部門對車牌識別和車輛運動形態的分析;汽車車身對前方物體(人或其它)的標示和距離判斷;重要區域場所對人臉識別的身份認證等等,無論是傳統的安全防范單位,還是商業化應用場所,都對智能視頻分析技術產生了大量的需求。
ADI 公司技術市場經理張鐵虎認為,目前智能視頻分析方案的開發已經取得了很大進展,但由于其自身研究內容的復雜性,使得研究方法和工具多樣,算法復雜度高,適用范圍有限,沒有魯棒性、準確度、速度都符合需求的普遍方法。同時,他還指出:“視頻監控系統的網絡化和分布式處理的要求,以及大規模工程安裝對成本、體積和功耗的限制,使得運算能力和帶寬都在不斷提高的嵌入式處理器成為了視頻監控系統的主流選擇。在這一趨勢下,現階段智能視頻分析技術的開發重點是算法水平的提高,降低誤判率,借助更高性價比的處理器平臺,固化算法到硬件加速器,留出處理器MIPS給更靈活的軟件作運算,從而提升智能視頻分析處理的可靠性和實用性。”
在智能視頻分析方案上,ADI采用的Blackfin處理器是ADI與INTEL聯合研制的會聚式處理器,它的 MSA(Micro Signal Architecture)架構兼具MCU的控制能力和DSP的高速運算能力,MCU和DSP被融入同一個內核,只需要同一套開發工具和同一套指令集,具有軟硬件實現簡單的優勢。針對視頻數據自身的特性,Blackfin的4個視頻算術運算單元和視頻象素指令集大大加速了視頻運算速度,一條視頻象素操作指令可以在一周期之內完成4對視頻數據分量的加法、減法、加減混合運算、取平均值,或者相減并求絕對值等11種視頻象素運算。這些運算在編解碼算法中的運動估計、環形濾波器和智能視頻分析的各種算法中被大量應用。而在智能視頻分析的一些基礎算子中,如直方圖統計、中值運算、Sobel運算、形態學中的膨脹運算等,都可利用Blackfin的MIN、MAX指令來消除條件跳轉,節省處理器周期。不僅如此,Blackfin還支持13種非視頻數據的向量運算,通過適當設計數據結構,在前背景分離、閾值計算和更新等多個環節都可運用Blackfin的特色指令讓智能視頻分析算法更為迅捷。
此外,值得關注的是,中國第一個智能視頻分析方面的國家標準GB/T30147-2013《安防監控視頻實時智能分析設備技術要求》已正式實施。該標準規定了安防監控視頻實時智能分析設備的功能、性能、接口、電磁兼容性、環境適應性、試驗方法、檢驗規則等內容,是嵌入式視頻實時智能分析設備進行設計、生產、檢驗的依據,也將為智能監控視頻分析技術的未來發展奠定基礎。
ARM平臺智能分析興起
一直以來,智能視頻分析處理一般都是基于后端平臺或是前端攝像機的DSP芯片架構之下,而現在,這一技術開發趨勢正朝著ARM硬件平臺的方向演進。作為華為海思公司在視頻圖像分析領域的核心合作伙伴,北京智芯原動科技有限公司有著安防行業智能視頻算法研發的豐富經驗,近年來,公司正式轉入到ARM平臺智能視頻分析算法的開發之中,對此,智芯原動副總經理王偉表示道:“ARM嵌入式系統的優點是功耗低、設備方案的價格較便宜,隨著ARM嵌入式設備應用市場份額的逐年上升,整體產業鏈已基本成形,越來越多的安防廠商開始采用ARM處理器開發新型視頻監控攝像機產品,這也正是我們選擇ARM平臺的原因所在。”
當然,要在單一ARM平臺上進行各種復雜的視頻分析運算,其難度可想而知。智能視頻分析要用到大量的CPU資源,但由于本身已經需要處理很多工作,這令到同一個ARM平臺往往難以為智能視頻算法提供足夠的運算空間,要想在ARM平臺上實現流暢、準確的視頻分析功能,實非易事。解決這一問題的辦法,仍然是對視頻分析算法的進一步優化。
通過多年來對各種應用場景、運動模式在不同季節、不同地域、不同溫度環境下的視頻樣本收集與比對,智芯原動不斷完善對視頻分析算法的優化,開發出一系列基于ARM平臺的智能視頻分析產品線,其中包括基礎功能和運動目標檢測(MOD)兩大類。基礎功能又分為對視頻遮擋、相機移位等視頻信號的異常偵測,以及對戶外攝像機晃動進行圖像電子穩像處理等。而在專業版的運動目標檢測中,搭配海思3516/3517 SOC平臺,系統內含周界入侵、單/雙警戒線穿越、徘徊報警、逆行檢測、多人徘徊、異常速度和非法停車等八大視頻分析算法,用戶可在不用任何設置的條件下快速使用上述多種功能。
提到智能視頻分析目前的技術開發重點,王偉表示,關鍵還是在于如何能夠降低對視頻畫面的干擾,提高系統分析識別的準確度。例如,在智能交通(ITS) 應用中,針對警用卡口環節,智芯原動開發的方案全部視頻分析處理僅需一顆海思ARM處理器,并利用獨有的智能分析加速引擎,以提高運算速度;同時,系統將最高30幀/秒的虛擬線圈與車牌識別檢測相整合,并提供車牌亮度反饋、閉環控制攝像機的曝光,以降低成像品質對識別度的影響,有效保證了車牌識別的準確率和對無牌車輛的抓拍率。在停車場車位引導及反向尋車應用中,與傳統的超聲波方式不同,采用基于海思Hi3518/3516C設計的智能高清一體機可同步監控2至3個車位,不但可識別車輛有無及車輛位置,而且還可以識別出車牌號碼,幫助車主反向尋車,實現高性價比的停車場內部管理。
另據透露,智芯原動與海思合作的新一代智能芯片Hi3516A將在今年年底的北京安防展上隆重推出,其基于ARM Cortex-A7處理器配合第二代智能分析協處理單元IVE2.0,提供車牌識別、周界防范、人臉識別等多達40種智能分析應用。
音頻分析與智能視頻相整合
除了專門針對視頻數據的分析處理之外,對于聲音的智能分析和處理也越來越受到人們的重視。過去,帶有拾音器的監控攝像機只是通過接收到的音頻信號達到預先設定的閾值大小,來啟動報警模式;而如今,用戶希望能夠對聲音進行更為細化的判斷,從音頻信號中將危險特征提取出來,并且與視頻監控相整合,提高系統的整體預警能力。
“如果說智能視頻分析是智能監控的‘眼睛’的話,那么智能音頻分析就是智能監控的‘耳朵’。”富昌電子(Future Electronics)有限公司業務拓展經理朱華剛說道。據介紹,富昌電子攜手NXP和Microsemi兩大原廠,綜合兩大原廠在視頻處理和聲音處理方面的豐富經驗和強大技術,即將推出基于NXP圖像處理芯片ASC88XX系列和Microsemi智能聲音處理芯片ZL3805X系列的高清網絡攝像機智能視頻聲音監控整體解決方案。
朱華剛表示,該方案將Microsemi的智能聲音處理解決方案整合到NXP的高清網絡攝像機方案中,除了傳統的高清監控之外,系統還能進行遠距離聲音監控和特征識別,以及智能聲源的識別和定位。采用該技術的智能監控系統能夠采集周圍環境的聲音,當發生突發事件時,該方案能夠識別分析聲音來源并實現方位確定,與攝像機主平臺整合后,攝像機可按需要自動轉換到聲音來源的方向和角度進行監控。而在智能聲源的定位上,則是利用雙麥克模擬人的雙耳功能,根據聲音到達不同麥克之間的時間差效應,來實現音源定位。
在對聲音作分析識別的過程中,最大的難點來自于如何做好背景噪聲抑制,提高聲音特征提取的準確率。對此,富昌電子技術方案經理羅華平說道:“這些噪聲可能包括室內環境下風扇、空調發出的聲音,以及室外建筑工地攪拌機、馬路上汽車等所產生的噪音,系統的首要任務就是盡可能地降低上述噪聲所帶來的影響,從中準確地提取出玻璃破裂、小孩哭鬧等等危險聲音信號,并立即開啟攝像機監控系統。”
目前,針對這一智能音視頻整合方案,富昌電子正與兩大原廠密切合作,根據不同應用領域的特定需求,建立起高效的背景建模以及目標提取模式,通過模型匹配識別,進行音源追蹤,即將聲音模擬的波形信號進行采樣、數字化,提取相關信息,然后與特征模型匹配識別,最終根據結果完成預定的應用。“智能音頻分析技術的下一步發展將著重于快速的多語言/多方言的語音識別、背景噪音或者無關聲音的過濾、基于云計算平臺的敏感字/詞/句的快速檢索和匹配等等,當然,這需要芯片、平臺、語音識別等產業鏈上的各廠家的共同努力,來改善整體智能系統的應用效果。”羅華平說。