8月初在京召開的2014第二屆中國指揮控制大會上,來自國內指揮控制領域的科研院所、高等院校、大型國有企業、高新技術企業以及民營高科技公司等近1500名各界代表齊聚一堂,深入交流網絡信息時代指揮控制科技產業的創新與發展。會議期間,中國科學院副秘書長譚鐵牛院士發表題為《面向公共安全的模式識別研究與應用》的演講。大會授權環球軍事獨家刊發演講的內容——
各位老師、各位同學,各位領導、各位代表,大家下午好!非常高興有機會在第二屆中國指揮控制大會和大家交流匯報我們的一些工作,。
主要希望講這么幾個問題,大量的監控攝象頭中,海量的視頻里,大數據里怎么快速有效的提煉出公共安全有意義的信息,面向安全監控的視頻分析,基本問題就是人的特征,基于生物特征的身份識別,網絡、物理空間感知數據處理。
信息化時代的安全挑戰,包括在公共安全方面的挑戰,物理空間發生很多的事件,通過信息化手段開始測算,信息化時代人的身份安全也是一個挑戰,大家看了很多報道,身份證失竊帶來的損失非常巨大。在互聯網上并不清楚打交道的人是不是說的那個人。信息內容安全業面臨挑戰,這個照片并不是真實的照片,肉眼看不到任何修改的痕跡,人工合成的圖象,怎么檢測這樣類似的篡改,顯然也是一個挑戰。
我國社會深刻轉型,公共安全事件高發,前面一些專家已經提到了,我們國家目前人均GDP 6500,是公共安全事件高發時期,尤其面臨其他的挑戰,迫切需求信息高科技的有利支撐,需要我們更加有效的指揮和控制機制和工作的平臺。
今天特別介紹也是我個人從事的專業,也是支撐公共安全非常重要的一個是能技術,叫做模式識別,按通過對海量視頻信息處理,某一個關心的區域的態勢,基于模式識別的態勢感知,無論是戰爭的感知,包括互聯網的感知,特別是大家都在講大數據,今天看到有專門大數據的專題演講會。
現在大數據很熱,非常重要的一個環節,就是把大數據的內容進行理解和識別,涉及到核心數據就是識別。這本書可能非常熟悉,非常著名的書,高層的領導也非常關注這本書。大數據的關鍵是數據內容的理解與識別。美國最近的一個報告,也是在涉及怎么樣通過大數據里面能夠挖掘出更多的公共安全的信息,涉及重要的支撐技術就是模式識別。
什么是模式識別?簡單的說就是研究各類模式的表達、分類與識別,各類模式,有的看得見,不同的模式。還有不同的力度分類,看得見的,包括桌子椅子,還有看不見的,我的情感狀態,是看不見的,這種模式的表達分類和識別,就是所謂的模式識別。
美國著名的發明家的一段話,計算機的模式識別越強,變成象人一樣聰明。模式識別的概念非常簡單,就是一種模式,識別出來,就是模式識別的問題。
這個流程,我就不介紹了,要把識別的東西拍攝下來,把圖象里的東西分離出來,這是蘋果,提取一些特征,進行特征抽取,進行匹配,識別出來是蘋果還是犁的過程。
大家知道,人觀察外部世界主要靠視覺,百分之七八十通過視覺,下面著重講怎么樣視覺模式識別感興趣的東西,特別是對公共安全有利的信息和知識。
視覺大數據及其識別的重要性,也是因為識別大數據爆炸式的大增長,帶來實實在在的挑戰。社交媒體數據量的增長,右下角的藍色,圖象視頻數據直線增長,周克華案例中長沙民警所看的視頻量相當于83萬部電影。大家可以想像,這個控制和指揮效應多大的提取,這的卻是一個關鍵的技術,特別是Facebook用戶量超過8億,每天上傳的圖片超過3億張,視頻超過300萬個。
我們國家也是如此,每天早上出門到回家不知道被多少個攝象頭看到,被二十多個攝象頭看到,數量非常多。擺在我們面前的機遇和挑戰是什么,怎么樣把這么多不斷增長的攝象頭拍攝的數據快速的找到你感興趣的,尤其對公共安全有意義的一些信息,這就是我想模式識別面臨的一個重大的挑戰,也是當前公共安全的一個迫切需求。
這也是我今天說的主題,大規模監控視頻數據的分析,北京市也是龐大的監控攝像機網絡,數據整合在一起,快速找到感興趣的目標,目標檢測,從那個場景到那個場景,那個區域到那個區域,全國監控量都是聯網的,都可以追蹤。要解決一些關鍵問題,感興趣的目標,在圖象什么位置,動了以后跟蹤,識別是誰,尤其是行為構成不構成威脅,是不是正常行為,還是異常行為?這就是我想今天為什么又宏又專的細節。
對這樣的工作基本的工作,能不能算出這個人離開這個攝象頭進入另外一個攝象頭的概率多大,離開這個場景到其他的場景不是完全一樣,能不能這些網絡的圖片,人員交互的概念有多大,能不能把這個統一出來,這樣大大縮小搜索空間。通過攝像機網絡脫鋪模型,建立跨場景監控的關聯關系。
其中基本的問題就是檢測,如果對一個目標始終不動,靜態的,不構成任何威脅。更感興趣就是運動的目標檢測,有一些老師也是從事這方面的研究,傳統的一副圖象或一個視頻怎么檢測,各種各樣的方法。比如把這個人檢測出來,大家看到很干凈的數據,這樣目標檢測其實很難,大家看一看,比如光照變化同一個人,還有形變,各種各樣的姿態。比如這個圖象,是同一幅圖象,只是旋轉變化,大家看到的結果完全不一樣。這就是目標檢測與分類中的挑戰,還有尺度變化等等,還有遮擋、歧義,這些都是目標檢測里碰到的一些問題。還有類內變化,都是椅子,但是形態各一,把椅子都檢測出來,怎么確保各種各樣的椅子都能檢測出來,這都是很難的問題。
人的眼睛的視覺能力應該說是了不起的,我們研究解決這個問題的出發點就是從人類眼睛找起,現在有一個很火的說法就是深度學習,深度卷積神經網絡,人可以舉一反三,能夠融會貫通,不斷的學習積累,目前在我們這個領域,我相信今天在座的各位也聽說了,深度學習,你想得透看得更準。這樣一個模型今天不展開講了,一層一層學習,實行的方法就是深度卷積神經網絡。
這樣一個學習積累,模擬人的大腦,人的大腦學習也是從初級到高級,發現效果是非常好的。大家可以看這個,按照這樣的理念,自動的算法,可以非常快速到圖片領域,把人體分布出來,無論是尺度變化,左上角的照片很小,無論是姿態變化,都可以快速檢測出來。包括輸入圖象、手工結果,算法結果,各種各樣的場景非常快速。這是從圖象檢測目標,無論是運動的,還是靜止的,都可以快速。如果是運動的,可以跟蹤他,走到那里跟到那里,跟完之后知道他的運動軌跡,可以分析他,是異常行為還是正常行為,還是特殊關注的行為,從而可以提煉出來。
目標分類與識別,比如說擺在我面前的東西,是人還是桌子,怎么識別,留到后面專門講。行為分析與識別,最關鍵就是時空信息,既然是行為就有運動,跟蹤完了軌道通過軌道的分析,知道什么行為。
比如這么龐大的監控攝像機網絡,怎么快速的把感興趣的行為檢測出來,比如人匯聚,人分開,有人跑,有人追,這樣特定的行為可以快速的檢測出來,現在可以快速的實現。
人流密度變化自動檢測與估計,這是真實場景,特別是人的會組,突然增多,對于公安的人及其有意義。到目前大多數情況,人是顯然看不過來的,力不從心,希望自動的應用模式識別的技術,能夠估計敏感區域需要密切關注人流密度的變化情況,現在已經現實場景使用。
根據人群不同的規模、行走方向,將人群分類。這樣聽起來很簡單,比如強光照下,常常帶來陰影干擾的問題,不同天氣、拍攝角度下,圖象特征變化明顯。
這樣的工作在很多地方已經用了,包括城鐵13號線,2007年老是有電纜被人偷了,后來城鐵13號線全線四十公里,裝三百個攝象頭,自動監控,自動識別,第一個月抓了三波,后來很少發生。效率非常明顯。還有一翻墻就自動報警,這些都是自動的實現對異常行為的檢測。
今天講了這么多,主要是講如何從海量的視頻信息里,視頻來自于龐大的監控攝象頭網絡,能夠找到你所感興趣對公安有意義的人和行為。
如果是一個人,能不能快速識別出是張三還是李四,基于生物特征的身份識別,虹膜識別,就是瞳孔和眼白中間,非接觸式的,虹膜識別首先要把圖象拍下,虹膜圖象預處理,在用一些特征刻劃細節的管理,虹膜的模式識別。這是我們自動化所虹膜圖象獲取裝置的演進,當然有很多的困難,比如有人戴眼鏡、還有眼睫毛遮擋,還有咪咪眼,有時候不配合,所以這樣的問題都是具有挑戰性的。
虹膜識別從圓環區里找特征,怎么樣把藍顏色快速精確找到,叫做虹膜區域的分割,找到以后,怎么樣不同人的虹膜的不同,定序測量,誰高誰矮,非常快,發現非常有效。
基于這樣的特征,虹膜識別的方法非常有效,現在用在煤礦,為什么用在煤礦。因為煤礦的人臉都一樣,不能說下班后你先洗把臉。虹膜和人臉的融合識別,很方便,我們把臉和虹膜結合起來,確保安全可靠。
人臉識別也有他的挑戰,比如姿態變化,光照變化,遮擋,標清變化,能不能都識別出來,現在做得不錯,大家看一個演示。這是在我們實驗室做得。非常快。
基于步態的身份識別,挑戰是什么?如果計算機存的是這個角度看,換了一個角度,能不能識別出來?計算機存的模板是沒有背包的,今天背了包。能不能識別?我們做了大量的研究,因為時間關系,就跳過去了。具體細節就不講了,應該說做得非常好,用的方法叫模擬人的大腦,效果非常好。我們做學術研究比較大的庫,大概有四千多人的庫,這是日本大阪提供的。角度有變化,跨視角識別精度識別率在90%以上。對于指揮控制的效率可以大大提升。
應該說今天給大家匯報的生物識別特征,指紋也好,虹膜也好,重點介紹虹膜,步態的身份識別,很多場合已經在用。比如北京機場通關,奧林匹克用的就是我們實驗室的,玉樹地震以后,常住人口10萬,國家發福利,一下二十萬,然后用虹膜登記。
中間是一個監獄,有的犯人一化妝逃出去,很顯然不能說把眼球換了。這一塊,我想特別面向公共安全的需求,我的一個夢想,希望遠距離的,一露臉就識別出來,用步態也好,虹膜也好,多種形態融合識別。
講到現在,更多的是物理空間的安全,實際上信息化網絡化時代,帶給公共安全一個非常重要的新的挑戰,就是物理空間和網絡空間是互動的,而且物理空間很多的公共安全事件最早是蒙臉,新疆7.5事件顯然是網絡空間和物理空間不斷演化的過程,最早大家知道,09年一個姓朱的人,玩具廠的一個員工辭退泄私憤在網上發了一個帖子,到處轉發,最后釀成了6月26日韶關玩具廠大規模斗毆,完全是網絡炒起來的。完了之后被境外的一些疆獨分子通過網絡煽風點火,釀成7.5新疆暴力事件。從中我們得到一個啟發,有沒有可能把網絡空間和物理空間的數據關聯起來進行分析,面向公共安全的社會感知數據處理,來自于物理空間眾多的監控攝象頭的視頻數據和網絡空間的跨媒體數據,比如微博數據、微信數據,網站數據等等,統稱為社會感知數據,有可能為公共安全的監控預警和應急處理提供技術支撐,有些事情未雨綢繆,消滅在萌芽狀態。
數據處理是一個老問題,但社會感知數據處理卻是一個新挑戰,新前沿。感知結點海量混雜,內容五花八門,感知線索動態演變,跨場景,視覺感知數據來自多個物理場景,有的來自微博,有的來自微信,有的來自網站的,跨媒體,跨空間,我們重要的基本研究思路,兩元協同起來處理。比如說7.5例子,這是我們正在研究的課題,如果說貼子一出來,通過網絡空間的數據信息發現,這個帖子不斷升溫,是不是在物理空間加強對那塊進行重點監控,這是物理空間,再回到網絡空間,發現疆獨分子利用韶光事件激發民族矛盾,策劃新疆地區暴力活動,對于新疆地區要密切的關注。這樣事前人群聚集預警,事中暴力活動擴散范圍動態監控,事后對抓捕肇事者,通過海量視頻的搜索,前后的東西融合進來,這是一個典型的物理空間和網絡空間的互動,這塊工作我們正在做。
小結一下,也是一些建議,大數據為提升公共安全保障能力提供了歷史契機,從大數據可以挖掘很多對公共安全有意義的信息,亟待推進數據網絡的互聯互通,實現相關數據的整合共享。才有可能在全面層面建立更加完善的應急救援指揮控制體系和平臺。我個人的建議,建立國家級數據中心,并為此為平臺強化協同創新。
網絡信息化時代的公共安全面臨新的重大挑戰,尤其是我們國家處于特殊的發展時期,模式識別是應對公共安全新挑戰的一項關鍵使能技術,有效應對挑戰要求我們強化協同創新,把科技成果及時轉化為公共安全的保障能力。