8月初在京召開的2014第二屆中國指揮控制大會上,來自國內(nèi)指揮控制領(lǐng)域的科研院所、高等院校、大型國有企業(yè)、高新技術(shù)企業(yè)以及民營高科技公司等近1500名各界代表齊聚一堂,深入交流網(wǎng)絡(luò)信息時代指揮控制科技產(chǎn)業(yè)的創(chuàng)新與發(fā)展。會議期間,中國科學(xué)院副秘書長譚鐵牛院士發(fā)表題為《面向公共安全的模式識別研究與應(yīng)用》的演講。大會授權(quán)環(huán)球軍事獨家刊發(fā)演講的內(nèi)容——
各位老師、各位同學(xué),各位領(lǐng)導(dǎo)、各位代表,大家下午好!非常高興有機會在第二屆中國指揮控制大會和大家交流匯報我們的一些工作,。
主要希望講這么幾個問題,大量的監(jiān)控攝象頭中,海量的視頻里,大數(shù)據(jù)里怎么快速有效的提煉出公共安全有意義的信息,面向安全監(jiān)控的視頻分析,基本問題就是人的特征,基于生物特征的身份識別,網(wǎng)絡(luò)、物理空間感知數(shù)據(jù)處理。
信息化時代的安全挑戰(zhàn),包括在公共安全方面的挑戰(zhàn),物理空間發(fā)生很多的事件,通過信息化手段開始測算,信息化時代人的身份安全也是一個挑戰(zhàn),大家看了很多報道,身份證失竊帶來的損失非常巨大。在互聯(lián)網(wǎng)上并不清楚打交道的人是不是說的那個人。信息內(nèi)容安全業(yè)面臨挑戰(zhàn),這個照片并不是真實的照片,肉眼看不到任何修改的痕跡,人工合成的圖象,怎么檢測這樣類似的篡改,顯然也是一個挑戰(zhàn)。
我國社會深刻轉(zhuǎn)型,公共安全事件高發(fā),前面一些專家已經(jīng)提到了,我們國家目前人均GDP 6500,是公共安全事件高發(fā)時期,尤其面臨其他的挑戰(zhàn),迫切需求信息高科技的有利支撐,需要我們更加有效的指揮和控制機制和工作的平臺。
今天特別介紹也是我個人從事的專業(yè),也是支撐公共安全非常重要的一個是能技術(shù),叫做模式識別,按通過對海量視頻信息處理,某一個關(guān)心的區(qū)域的態(tài)勢,基于模式識別的態(tài)勢感知,無論是戰(zhàn)爭的感知,包括互聯(lián)網(wǎng)的感知,特別是大家都在講大數(shù)據(jù),今天看到有專門大數(shù)據(jù)的專題演講會。
現(xiàn)在大數(shù)據(jù)很熱,非常重要的一個環(huán)節(jié),就是把大數(shù)據(jù)的內(nèi)容進行理解和識別,涉及到核心數(shù)據(jù)就是識別。這本書可能非常熟悉,非常著名的書,高層的領(lǐng)導(dǎo)也非常關(guān)注這本書。大數(shù)據(jù)的關(guān)鍵是數(shù)據(jù)內(nèi)容的理解與識別。美國最近的一個報告,也是在涉及怎么樣通過大數(shù)據(jù)里面能夠挖掘出更多的公共安全的信息,涉及重要的支撐技術(shù)就是模式識別。
什么是模式識別?簡單的說就是研究各類模式的表達、分類與識別,各類模式,有的看得見,不同的模式。還有不同的力度分類,看得見的,包括桌子椅子,還有看不見的,我的情感狀態(tài),是看不見的,這種模式的表達分類和識別,就是所謂的模式識別。
美國著名的發(fā)明家的一段話,計算機的模式識別越強,變成象人一樣聰明。模式識別的概念非常簡單,就是一種模式,識別出來,就是模式識別的問題。
這個流程,我就不介紹了,要把識別的東西拍攝下來,把圖象里的東西分離出來,這是蘋果,提取一些特征,進行特征抽取,進行匹配,識別出來是蘋果還是犁的過程。
大家知道,人觀察外部世界主要靠視覺,百分之七八十通過視覺,下面著重講怎么樣視覺模式識別感興趣的東西,特別是對公共安全有利的信息和知識。
視覺大數(shù)據(jù)及其識別的重要性,也是因為識別大數(shù)據(jù)爆炸式的大增長,帶來實實在在的挑戰(zhàn)。社交媒體數(shù)據(jù)量的增長,右下角的藍色,圖象視頻數(shù)據(jù)直線增長,周克華案例中長沙民警所看的視頻量相當于83萬部電影。大家可以想像,這個控制和指揮效應(yīng)多大的提取,這的卻是一個關(guān)鍵的技術(shù),特別是Facebook用戶量超過8億,每天上傳的圖片超過3億張,視頻超過300萬個。
我們國家也是如此,每天早上出門到回家不知道被多少個攝象頭看到,被二十多個攝象頭看到,數(shù)量非常多。擺在我們面前的機遇和挑戰(zhàn)是什么,怎么樣把這么多不斷增長的攝象頭拍攝的數(shù)據(jù)快速的找到你感興趣的,尤其對公共安全有意義的一些信息,這就是我想模式識別面臨的一個重大的挑戰(zhàn),也是當前公共安全的一個迫切需求。
這也是我今天說的主題,大規(guī)模監(jiān)控視頻數(shù)據(jù)的分析,北京市也是龐大的監(jiān)控攝像機網(wǎng)絡(luò),數(shù)據(jù)整合在一起,快速找到感興趣的目標,目標檢測,從那個場景到那個場景,那個區(qū)域到那個區(qū)域,全國監(jiān)控量都是聯(lián)網(wǎng)的,都可以追蹤。要解決一些關(guān)鍵問題,感興趣的目標,在圖象什么位置,動了以后跟蹤,識別是誰,尤其是行為構(gòu)成不構(gòu)成威脅,是不是正常行為,還是異常行為?這就是我想今天為什么又宏又專的細節(jié)。
對這樣的工作基本的工作,能不能算出這個人離開這個攝象頭進入另外一個攝象頭的概率多大,離開這個場景到其他的場景不是完全一樣,能不能這些網(wǎng)絡(luò)的圖片,人員交互的概念有多大,能不能把這個統(tǒng)一出來,這樣大大縮小搜索空間。通過攝像機網(wǎng)絡(luò)脫鋪模型,建立跨場景監(jiān)控的關(guān)聯(lián)關(guān)系。
其中基本的問題就是檢測,如果對一個目標始終不動,靜態(tài)的,不構(gòu)成任何威脅。更感興趣就是運動的目標檢測,有一些老師也是從事這方面的研究,傳統(tǒng)的一副圖象或一個視頻怎么檢測,各種各樣的方法。比如把這個人檢測出來,大家看到很干凈的數(shù)據(jù),這樣目標檢測其實很難,大家看一看,比如光照變化同一個人,還有形變,各種各樣的姿態(tài)。比如這個圖象,是同一幅圖象,只是旋轉(zhuǎn)變化,大家看到的結(jié)果完全不一樣。這就是目標檢測與分類中的挑戰(zhàn),還有尺度變化等等,還有遮擋、歧義,這些都是目標檢測里碰到的一些問題。還有類內(nèi)變化,都是椅子,但是形態(tài)各一,把椅子都檢測出來,怎么確保各種各樣的椅子都能檢測出來,這都是很難的問題。
人的眼睛的視覺能力應(yīng)該說是了不起的,我們研究解決這個問題的出發(fā)點就是從人類眼睛找起,現(xiàn)在有一個很火的說法就是深度學(xué)習(xí),深度卷積神經(jīng)網(wǎng)絡(luò),人可以舉一反三,能夠融會貫通,不斷的學(xué)習(xí)積累,目前在我們這個領(lǐng)域,我相信今天在座的各位也聽說了,深度學(xué)習(xí),你想得透看得更準。這樣一個模型今天不展開講了,一層一層學(xué)習(xí),實行的方法就是深度卷積神經(jīng)網(wǎng)絡(luò)。
這樣一個學(xué)習(xí)積累,模擬人的大腦,人的大腦學(xué)習(xí)也是從初級到高級,發(fā)現(xiàn)效果是非常好的。大家可以看這個,按照這樣的理念,自動的算法,可以非??焖俚綀D片領(lǐng)域,把人體分布出來,無論是尺度變化,左上角的照片很小,無論是姿態(tài)變化,都可以快速檢測出來。包括輸入圖象、手工結(jié)果,算法結(jié)果,各種各樣的場景非常快速。這是從圖象檢測目標,無論是運動的,還是靜止的,都可以快速。如果是運動的,可以跟蹤他,走到那里跟到那里,跟完之后知道他的運動軌跡,可以分析他,是異常行為還是正常行為,還是特殊關(guān)注的行為,從而可以提煉出來。
目標分類與識別,比如說擺在我面前的東西,是人還是桌子,怎么識別,留到后面專門講。行為分析與識別,最關(guān)鍵就是時空信息,既然是行為就有運動,跟蹤完了軌道通過軌道的分析,知道什么行為。
比如這么龐大的監(jiān)控攝像機網(wǎng)絡(luò),怎么快速的把感興趣的行為檢測出來,比如人匯聚,人分開,有人跑,有人追,這樣特定的行為可以快速的檢測出來,現(xiàn)在可以快速的實現(xiàn)。
人流密度變化自動檢測與估計,這是真實場景,特別是人的會組,突然增多,對于公安的人及其有意義。到目前大多數(shù)情況,人是顯然看不過來的,力不從心,希望自動的應(yīng)用模式識別的技術(shù),能夠估計敏感區(qū)域需要密切關(guān)注人流密度的變化情況,現(xiàn)在已經(jīng)現(xiàn)實場景使用。
根據(jù)人群不同的規(guī)模、行走方向,將人群分類。這樣聽起來很簡單,比如強光照下,常常帶來陰影干擾的問題,不同天氣、拍攝角度下,圖象特征變化明顯。
這樣的工作在很多地方已經(jīng)用了,包括城鐵13號線,2007年老是有電纜被人偷了,后來城鐵13號線全線四十公里,裝三百個攝象頭,自動監(jiān)控,自動識別,第一個月抓了三波,后來很少發(fā)生。效率非常明顯。還有一翻墻就自動報警,這些都是自動的實現(xiàn)對異常行為的檢測。
今天講了這么多,主要是講如何從海量的視頻信息里,視頻來自于龐大的監(jiān)控攝象頭網(wǎng)絡(luò),能夠找到你所感興趣對公安有意義的人和行為。
如果是一個人,能不能快速識別出是張三還是李四,基于生物特征的身份識別,虹膜識別,就是瞳孔和眼白中間,非接觸式的,虹膜識別首先要把圖象拍下,虹膜圖象預(yù)處理,在用一些特征刻劃細節(jié)的管理,虹膜的模式識別。這是我們自動化所虹膜圖象獲取裝置的演進,當然有很多的困難,比如有人戴眼鏡、還有眼睫毛遮擋,還有咪咪眼,有時候不配合,所以這樣的問題都是具有挑戰(zhàn)性的。
虹膜識別從圓環(huán)區(qū)里找特征,怎么樣把藍顏色快速精確找到,叫做虹膜區(qū)域的分割,找到以后,怎么樣不同人的虹膜的不同,定序測量,誰高誰矮,非??欤l(fā)現(xiàn)非常有效。
基于這樣的特征,虹膜識別的方法非常有效,現(xiàn)在用在煤礦,為什么用在煤礦。因為煤礦的人臉都一樣,不能說下班后你先洗把臉。虹膜和人臉的融合識別,很方便,我們把臉和虹膜結(jié)合起來,確保安全可靠。
人臉識別也有他的挑戰(zhàn),比如姿態(tài)變化,光照變化,遮擋,標清變化,能不能都識別出來,現(xiàn)在做得不錯,大家看一個演示。這是在我們實驗室做得。非??臁?/p>
基于步態(tài)的身份識別,挑戰(zhàn)是什么?如果計算機存的是這個角度看,換了一個角度,能不能識別出來?計算機存的模板是沒有背包的,今天背了包。能不能識別?我們做了大量的研究,因為時間關(guān)系,就跳過去了。具體細節(jié)就不講了,應(yīng)該說做得非常好,用的方法叫模擬人的大腦,效果非常好。我們做學(xué)術(shù)研究比較大的庫,大概有四千多人的庫,這是日本大阪提供的。角度有變化,跨視角識別精度識別率在90%以上。對于指揮控制的效率可以大大提升。
應(yīng)該說今天給大家匯報的生物識別特征,指紋也好,虹膜也好,重點介紹虹膜,步態(tài)的身份識別,很多場合已經(jīng)在用。比如北京機場通關(guān),奧林匹克用的就是我們實驗室的,玉樹地震以后,常住人口10萬,國家發(fā)福利,一下二十萬,然后用虹膜登記。
中間是一個監(jiān)獄,有的犯人一化妝逃出去,很顯然不能說把眼球換了。這一塊,我想特別面向公共安全的需求,我的一個夢想,希望遠距離的,一露臉就識別出來,用步態(tài)也好,虹膜也好,多種形態(tài)融合識別。
講到現(xiàn)在,更多的是物理空間的安全,實際上信息化網(wǎng)絡(luò)化時代,帶給公共安全一個非常重要的新的挑戰(zhàn),就是物理空間和網(wǎng)絡(luò)空間是互動的,而且物理空間很多的公共安全事件最早是蒙臉,新疆7.5事件顯然是網(wǎng)絡(luò)空間和物理空間不斷演化的過程,最早大家知道,09年一個姓朱的人,玩具廠的一個員工辭退泄私憤在網(wǎng)上發(fā)了一個帖子,到處轉(zhuǎn)發(fā),最后釀成了6月26日韶關(guān)玩具廠大規(guī)模斗毆,完全是網(wǎng)絡(luò)炒起來的。完了之后被境外的一些疆獨分子通過網(wǎng)絡(luò)煽風(fēng)點火,釀成7.5新疆暴力事件。從中我們得到一個啟發(fā),有沒有可能把網(wǎng)絡(luò)空間和物理空間的數(shù)據(jù)關(guān)聯(lián)起來進行分析,面向公共安全的社會感知數(shù)據(jù)處理,來自于物理空間眾多的監(jiān)控攝象頭的視頻數(shù)據(jù)和網(wǎng)絡(luò)空間的跨媒體數(shù)據(jù),比如微博數(shù)據(jù)、微信數(shù)據(jù),網(wǎng)站數(shù)據(jù)等等,統(tǒng)稱為社會感知數(shù)據(jù),有可能為公共安全的監(jiān)控預(yù)警和應(yīng)急處理提供技術(shù)支撐,有些事情未雨綢繆,消滅在萌芽狀態(tài)。
數(shù)據(jù)處理是一個老問題,但社會感知數(shù)據(jù)處理卻是一個新挑戰(zhàn),新前沿。感知結(jié)點海量混雜,內(nèi)容五花八門,感知線索動態(tài)演變,跨場景,視覺感知數(shù)據(jù)來自多個物理場景,有的來自微博,有的來自微信,有的來自網(wǎng)站的,跨媒體,跨空間,我們重要的基本研究思路,兩元協(xié)同起來處理。比如說7.5例子,這是我們正在研究的課題,如果說貼子一出來,通過網(wǎng)絡(luò)空間的數(shù)據(jù)信息發(fā)現(xiàn),這個帖子不斷升溫,是不是在物理空間加強對那塊進行重點監(jiān)控,這是物理空間,再回到網(wǎng)絡(luò)空間,發(fā)現(xiàn)疆獨分子利用韶光事件激發(fā)民族矛盾,策劃新疆地區(qū)暴力活動,對于新疆地區(qū)要密切的關(guān)注。這樣事前人群聚集預(yù)警,事中暴力活動擴散范圍動態(tài)監(jiān)控,事后對抓捕肇事者,通過海量視頻的搜索,前后的東西融合進來,這是一個典型的物理空間和網(wǎng)絡(luò)空間的互動,這塊工作我們正在做。
小結(jié)一下,也是一些建議,大數(shù)據(jù)為提升公共安全保障能力提供了歷史契機,從大數(shù)據(jù)可以挖掘很多對公共安全有意義的信息,亟待推進數(shù)據(jù)網(wǎng)絡(luò)的互聯(lián)互通,實現(xiàn)相關(guān)數(shù)據(jù)的整合共享。才有可能在全面層面建立更加完善的應(yīng)急救援指揮控制體系和平臺。我個人的建議,建立國家級數(shù)據(jù)中心,并為此為平臺強化協(xié)同創(chuàng)新。
網(wǎng)絡(luò)信息化時代的公共安全面臨新的重大挑戰(zhàn),尤其是我們國家處于特殊的發(fā)展時期,模式識別是應(yīng)對公共安全新挑戰(zhàn)的一項關(guān)鍵使能技術(shù),有效應(yīng)對挑戰(zhàn)要求我們強化協(xié)同創(chuàng)新,把科技成果及時轉(zhuǎn)化為公共安全的保障能力。