20世紀90年代末,國際互聯網發展很快,幾千萬臺,甚至幾億臺計算機互相連接在一起,網絡之中信息量是極其巨大的;局域網、廣域網的發展也非常迅猛,一些行業的計算機聯網運行后,計算機系統的工作就不能中斷了,巨大的信息量不停地在迭加,網絡之中的信息量無疑是“海量的”。網絡環境下的計算與單臺計算機的計算在信息的組織、處理和傳輸上有很大的不同,這對經典計算理論和通信理論提出挑戰。鑒于用現有的理論已不能夠描述和解釋網絡環境下海量信息和海量進程的活動規律,必須在基礎理論方面有所突破,才有可能真正指導網絡環境下各種應用的開展,推動網絡經濟的進步。
視頻監控的發展及其IT化趨勢
當時任北京航空航天大學校長的李未院士,1998年在國內率先倡導將網絡環境下海量信息的組織、傳輸與處理的研究作為國家基礎科學研究的一個重要方向,并制定了詳細的研究計劃,啟動了作為國家重點研究規劃項目(973計劃)之一的“網絡環境下海量信息的組織、處理和傳輸的理論與方法”項目。項目的參與單位有北航、北大、清華和國防科大四所著名大學。國外也是在20世紀90年代末提出相似研究課題的,研究內容都是網絡環境下的計算技術與理論,雖然課題名稱不同,但研究的目的是相同或相似的。
由于視頻圖像具有信息量巨大的特點,較早就成為IT技術關注的重點。不長時間,“網絡環境下海量信息的組織、處理和傳輸的理論與方法”項目組在海量信息系統技術在基礎理論和核心技術方面取得了一些突破性進展,有些子項目已開始應用于實際。項目組中“基于先進網絡的下一代互聯網公共服務環境”課題小組研制成功了具有自主知識產權的、基于高速網絡的多媒體、實時、交互式協同工作環境(Admire)系統。
2001年11月中旬“超級計算和通訊”國際會議召開,這是全世界第一次完全采用高速互聯網技術召開的遠程多媒體實時會議。中心會場在美國的丹佛市,分會場分布在全球近10個國家和地區,有40多個國際科研機構多媒體會場與之相聯,中國分會場是唯一沒有使用美國AccessGrid系統,而采用Admire系統的分會場。2002年12月,我在經濟參考報工作期間采訪了“網絡環境下海量信息的組織、處理和傳輸的理論與方法”項目組,并撰寫了《我國海量信息理論與技術研究取得進展》的報道。
隨著視頻監控技術的廣泛應用,特別是平安城市建設在國內大規模推進,監控系統已經不滿足于“看得見”,而要求“看得清”,“用得好”。視頻監控系統向著“數字化、網絡化、高清化、集成化、智能化”方向發展,視頻信息的共享與多業務系統的應用也提上日程。隨著高清視頻監控的快速發展以及在平安城市等領域的大規模聯網應用,高清視頻的傳輸、轉發、存儲及應用對配套軟硬件平臺提出了嚴峻的挑戰,系統的穩定性、可靠性及實戰應用成為公安用戶關注的焦點。不僅原來的CCTV閉路監控系統無法滿足需要,即使是傳統的IT架構也無法滿足高清視頻監控的大規模部署應用。
視頻監控技術的IT化首先體現在視頻圖像遠程傳輸對互聯網的高度依賴。視頻資料的存儲也是經過模數轉換并壓縮后在硬盤上存儲.特別是網絡監控系統通常需要有功能強大的監控平臺進行控制、調度管理,其軟硬件大量采用IT技術。隨著監控技術高清化、集成化、智能化的發展,監控視頻海量信息的傳輸、存儲,視頻分析技術的應用,云計算、云存儲和大數據這些IT前沿技術正在深刻地影響著視頻監控技術的發展。
云計算以分布式網絡為基礎,用戶數據的存儲和運算都是在“云”上完成的,體現了“網絡便是計算機”的理念。視頻分析的應用是基于巨量數據的高速運算,例如巨量人數的人臉識別采用多臺高性能服務器常規的并行計算也無法滿足某些用戶的時效性要求,而云計算可以大大提高運算效率。在未來的“互聯計算”時代,視頻監控將伴隨著互聯網技術、數字高清化技術,以及智能化技術的發展成為人們生活和工作中不可或缺的組成部分,并成為中國構建“平安城市”和“智慧城市”的中堅力量。
云存儲是通過網絡提供的,可配置虛擬化存儲和相關數據服務,這個服務級別是可以按需要來保證的。更加高效節能、穩定可靠的云計算、云存儲技術的應用將是是未來監控發展的趨勢,也將成為未來平安城市建設的潮流。
云計算將會是今后很長時間海量視頻監控圖像數據處理加工的基本模式。由于數據的處理和存儲都在遠程的云端上完成,安全性和隱私問題已經成為困擾云計算進一步發展的一個重要瓶頸。而云儲存虛擬化和物理上分布的異構化,因此缺乏物理安全邊界。用戶數據管理權與所有權分離,使得數據面臨泄露和篡改的風險。云安全已經成為順利推進云計算、云儲存所不容忽視的一個問題。公安部高度重視網絡的安全性,但以目前平安城市視頻監控系統的承載網絡的現狀來看,還存在較高的風險。平安城市視頻監控系統承載網絡主要是公安專用通信網和視頻虛擬專網兩種,現有系統的承載網絡情況復雜,平臺部署在不同的承載網絡上。虛擬專用網(VPN,VirtualPrivateNetwork)通常是在公用網絡上建立的專用網絡,是為特別用戶設置的加密通訊網絡,而平安城市視頻監控系統匯接的社會圖像資源是通過多種方式接入到各級共享平臺,雖然在接入時會采取一些安全接入措施,但仍很難避免被非法侵入。視頻監控系統的網絡安全問題應當引起足夠的關注。
在數據量呈現幾何級數增長同時,數據來源及獲取的渠道越來越多。數據模型也從最初的結構化數據為主發展到半結構化或非結構化數據占比越來越高,數據關系由簡單發展到復雜……這一系列的變化催生出大數據時代,其背后需要的是能對海量數據進行信息提取、分析,能服務于民生,促進各行業發展的技術與方案提供商。以用戶需求為主導,深度洞悉需求本質,挖掘需求的源動力才能引領平安城市的發展。
大數據指的是所涉及的數據量規模巨大到無法通過人工,在合理時間內達到截取、管理、處理、并整理成為人類所能解讀的信息。視頻監控領域的大數據特征可用Volume(體量巨大)、Variety(編碼類型、數據結構種類繁多)、Velocity(要求快速處理)、Value(有價值信息提取困難)這4個V來概括。視頻監控領域迫切需要大數據技術。
在大數據的發展趨勢下,對海量視頻監控數據的存儲和管理也是當下許多大廠商積極探索的命題。在視頻監控領域,往往視頻分析的效率決定價值,更低的延遲、更準確的分析往往是平安城市這類客戶的普遍需求。這將大幅提升視頻監控產業附加值,改善現有產業價值提升困難的發展瓶頸。
視頻監控業務產生的數據絕大多數以非結構化的數據為主,信息呈現上為松耦合的關系,這給傳統的數據管理和使用機制帶來了極大的挑戰。經過采集的視頻數據通過創建數據倉庫,進行數據的分析和挖掘,最終進行可視化的呈現,就是大數據的衍變過程。海量的視頻監控數據采用傳統人工和串行的數據篩選方式在大數據時代已不能滿足要求。面向大數據的架構原理就是將海量數據分解為較小的更易訪問的批量數據,在多臺服務器上并行分析處理,從而大大加快視頻數據的處理進程。
在視頻監控業務中,價值密度的高低與數據總量的大小成反比。一小時的視頻監控內容,可能有用的數據僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數據的價值“提純”是目前大數據洶涌背景下亟待解決的難題。視頻監控圖像對于客戶來講可能大部分信息是無效的,有效信息可能只分布在一個較短的時間段內,按照數學統計理論,信息是呈現出冪律分布的,往往密度越高的信息對客戶價值越大。實時涌入的海量數據容易產生大量的休眠數據,浪費大量存儲資源,也不利于其應用。對海量數據進行智能分析,提取出價值數據片段,建立摘要信息,減少用戶需要面對處理的數據量,形成元數據信息庫,以提高信息利用效率。
目前看來,有四類與大數據相關的技術可以在監控領域發揮重要的作用。1、智能分析技術。基于計算機圖像識別算法,對視頻圖像內容進行理解和分析,生成圖像內容和行為的描述信息,并以結構化或半結構化語言描述,為視頻大數據分析與應用提供基礎;2、大數據處理技術。基于大數據并行或分布式處理技術,如Hadoop,Hbase等,形成面向大數據的分布式存儲與數據管理框架;提供實時和批處理ETL,實現數據清洗/轉換/裝載,以形成價值信息匯聚;3、數據挖掘與分析技術。通過對智能分析元數據的檢索、數據挖掘與分析處理,才能對視頻數據的高效利用;與非視頻數據整合分析,挖掘事件關聯及產生模式,提升視頻數據價值的能力;4、可視化展現技術。通過對視頻內容的高效檢索、比對和呈現;與GIS平臺、情報分析平臺、應急處理平臺等地方平臺融合,并與視圖整合展現,以提升視頻數據實用性的能力。
我以為視頻監控IT化的標志主要基于以下3個方面的事實:1、由于視頻監控技術從模擬到數字,并進一步走向IP網絡化,使得IT技術,特別是云計算、云存儲、大數據、視頻分析與智能監控技術成為當下推動視頻監控技術發展的主要動力;2、國內外許多大型IT企業進入視頻監控行業并與安防企業進行多方面合作;3、我國越來越多的技術型安防企業正在大量吸收IT人才,重點發展數字信號處理、云存儲、視頻分析算法、大數據等IT核心技術。
四、視頻監控IT化的影響
視頻監控IT化的影響首先反映在視頻監控系統功能的提高與完善上。平安城市經歷了數字化、網絡化、高清化、智能化的發展階段后,將形成廣覆蓋、大聯網、高智能的格局,在應用層面具有強烈的大數據處理需求來消化、利用海量的監控信息,輔助實現事前預警。基于視頻圖像的云計算技術、云存儲技術、通過將大數據技術和視頻監控技術的完美融合才能實現這一目的。而云計算、云存儲、大數據技術正是當前IT領域發展最快的技術,也是監控領域進一步發展要求最迫切的技術。
其次,視頻監控技術的IT化必然會加強安防企業,特別是監控企業與IT企業的密切合作。擁有IT背景的企業與傳統安防廠商相比,在產品的更新換代上更迅速,對互聯網和IT技術更了解,但有所欠缺的是對安防行業的深入了解。因此,完全依賴于IT企業實現大數據在安防行業的實際應用阻隔重重。同樣,安防廠商拋棄與IT企業的密切合作去做系統集成同樣具有很大挑戰。在大數據時代,各個領域是相互關聯的關系,視頻監控與IT需要不斷的技術融合與行業業務融合,才能真正解決對大數據的應用分析與存儲。大數據業務是一個各個領域通力合作的模式,對于視頻監控企業來說,需要在了解用戶需求和市場動向的前提下,發揮自身優勢,聯合IT企業,以更快的速度躋身大數據領域。
社會需求是技術發展最強大的推動力。我國平安城市建設、智慧城市建設正在建設全球規模最大的、多業務視頻監控聯網系統,這為我國視頻監控企業和IT企業提供了研究相關IT技術,設計與實施、運行這類項目的實踐平臺。我認為,實踐出真知,在視頻監控IT化的進程中也會推動我國IT技術的進步,通過學習借鑒國外經驗和大家的努力,在視頻監控技術IT化的道路上我國會走在世界前列。