如果從1957年松下研發(fā)的第一臺(tái)電子顯像管攝像機(jī)算起,視頻監(jiān)控有了大約61年的歷史,經(jīng)歷了模擬時(shí)代、數(shù)字時(shí)代、智能時(shí)代和數(shù)據(jù)時(shí)代。在智能時(shí)代之前,視頻監(jiān)控的主要功能還是限于監(jiān)視、錄像和回放三個(gè)功能,如果需要采用視頻進(jìn)行輔助工作需要人工翻查,費(fèi)時(shí)費(fèi)力,而且效率不高 。
我國是一個(gè)安防大國,根據(jù)中國安全防范產(chǎn)品行業(yè)協(xié)會(huì)統(tǒng)計(jì),截至2017年底,全國公共區(qū)域安裝的攝像機(jī)數(shù)量達(dá)到2800多萬臺(tái),構(gòu)建了覆蓋重點(diǎn)區(qū)域和行業(yè)領(lǐng)域的視頻“天網(wǎng)”。另根據(jù)艾瑞咨詢的研究報(bào)告,2016年中國主要城市視頻監(jiān)控?cái)z像頭數(shù)量北京為115萬臺(tái)、上海為100萬臺(tái)、深圳為40萬臺(tái)、廣州為30萬臺(tái),可見城市監(jiān)控的數(shù)量巨大。傳統(tǒng)的監(jiān)控功能監(jiān)視、錄像、回放已經(jīng)完全滿足不了互聯(lián)網(wǎng)時(shí)代的需求,尤其是人工智能(AI)時(shí)代,那么如何挖掘視頻監(jiān)控這個(gè)金礦就是擺在人們面前的問題。
2016年開始,AI技術(shù)大規(guī)模普及之后,計(jì)算機(jī)就能夠讀懂一幀一幀(1秒視頻由25幀畫面構(gòu)成)的視頻畫面了,這就依賴于計(jì)算機(jī)視覺識(shí)別技術(shù),具體來講,就是人臉識(shí)別、人體識(shí)別、車牌識(shí)別、車輛特征識(shí)別、ReID技術(shù)得到長(zhǎng)足的發(fā)展,并可以進(jìn)入商用階段。隨著AI技術(shù)的不斷發(fā)展,AI賦能城市的能力逐漸凸顯,在公安、樓宇、醫(yī)療、教育和金融行業(yè)都催生了全新的應(yīng)用,尤其是AI賦能視頻監(jiān)控領(lǐng)域已經(jīng)得到業(yè)界的普遍共識(shí)。
AI的技術(shù)創(chuàng)新體現(xiàn)在算法、芯片、采集、網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、終端和安全多個(gè)方面,多方面的技術(shù)創(chuàng)新可以深度挖掘視頻監(jiān)控所形成的視頻大數(shù)據(jù)的潛力,為智慧城市、數(shù)字城市建設(shè)服務(wù)。視頻數(shù)據(jù)的挖掘就是將城市中活動(dòng)的“人、車、物”進(jìn)行結(jié)構(gòu)化特征提取,然后再結(jié)合政務(wù)大數(shù)據(jù)、警務(wù)大數(shù)據(jù)、商業(yè)大數(shù)據(jù)等進(jìn)行碰撞,可充分的挖據(jù)潛在數(shù)據(jù)價(jià)值,促使人類社會(huì)最終全面進(jìn)入數(shù)據(jù)時(shí)代。
智慧城市的建設(shè)在中國已經(jīng)得到大面積的普及,取得了豐富的成果、積累了大量的經(jīng)驗(yàn)。中國目前是世界上較大的智慧城市實(shí)踐國之一,自2012年住房城鄉(xiāng)建設(shè)部《關(guān)于開展國家智慧城市試點(diǎn)工作的通知》已來,到目前為止,不完全統(tǒng)計(jì)國內(nèi)超過500個(gè)城市明確的提出智慧城市的整體規(guī)劃,大部分已經(jīng)進(jìn)入實(shí)踐當(dāng)中,局部的試點(diǎn)數(shù)量遠(yuǎn)遠(yuǎn)超過500個(gè)。為了建設(shè)更美好的智慧城市,部分城市甚至提出了城市交通大腦、城市安全大腦和城市大腦等多種大腦建設(shè)模式,甚至一些新興城市更是提出了建設(shè)數(shù)字城市,雄安新區(qū)就是代表城市之一。
2017 年4 月,雄安新區(qū)設(shè)立。“建設(shè)綠色智慧新城,建成國際一流、綠色、現(xiàn)代、智慧城市”在七大重點(diǎn)任務(wù)位列第一條。2018年4 月,雄安新區(qū)規(guī)劃綱要獲批復(fù),其中寫到“堅(jiān)持?jǐn)?shù)字城市與現(xiàn)實(shí)城市同步規(guī)劃、同步建設(shè),適度超前布局智能基礎(chǔ)設(shè)施,推動(dòng)全域智能化應(yīng)用服務(wù)實(shí)時(shí)可控,建立健全大數(shù)據(jù)資產(chǎn)管理體系,打造具有深度學(xué)習(xí)能力、全球領(lǐng)先的數(shù)字城市”,并在隨后的解讀中,提出了“數(shù)字孿生城市”的表述 。
“數(shù)字城市”和“數(shù)字孿生”并不是新生概念,但隨著AI、大數(shù)據(jù)等技術(shù)的發(fā)展,時(shí)代賦予它們?nèi)碌膬?nèi)涵。城市是人類工程中復(fù)雜的系統(tǒng)之一,若要想完整“孿生”城市的真實(shí)運(yùn)轉(zhuǎn)狀態(tài),實(shí)現(xiàn)實(shí)時(shí)行為分析和行為預(yù)測(cè)幾乎是一件不可能的事情。但是數(shù)字孿生技術(shù)可以將實(shí)時(shí)數(shù)據(jù)、狀態(tài)和數(shù)字模型進(jìn)行結(jié)合,基于城市三維地圖、實(shí)時(shí)視頻圖像,使得城市管理人員能夠局部實(shí)現(xiàn)實(shí)體系統(tǒng)的孿生,并在虛擬的數(shù)字世界看到與現(xiàn)實(shí)一致的數(shù)字系統(tǒng),對(duì)預(yù)先控制、事后管理、預(yù)警指揮帶來很大的輔助作用。
雄安新區(qū)“數(shù)字孿生城市”的建設(shè)會(huì)成為一個(gè)樣板,具有領(lǐng)頭示范效應(yīng),屬于創(chuàng)新之舉。構(gòu)建物理世界和數(shù)字世界的一一對(duì)應(yīng)、交互協(xié)同、關(guān)聯(lián)映射的超級(jí)系統(tǒng),在網(wǎng)域空間再造一個(gè)數(shù)字“雙胞胎”城市。并實(shí)現(xiàn)城市全要素的數(shù)字化治理、全時(shí)空實(shí)時(shí)化、三維數(shù)字化、決策智能化,開創(chuàng)一個(gè)虛實(shí)結(jié)合的城市發(fā)展新局面。
數(shù)字孿生技術(shù)在數(shù)字城市的建設(shè)中的重要作用已經(jīng)得到主流觀點(diǎn)的認(rèn)可。河北科技大學(xué)劉青認(rèn)為數(shù)字孿生發(fā)展到現(xiàn)在作為智慧城市的關(guān)鍵技術(shù)[3]。耿建光認(rèn)為“數(shù)字孿生是對(duì)實(shí)體對(duì)象或過程的數(shù)字化復(fù)制,能夠?qū)崿F(xiàn)貫通復(fù)雜產(chǎn)品設(shè)計(jì)、制造、維護(hù)等全生命周期業(yè)務(wù)過程的數(shù)字空間和物理空間信息的雙向共享交互和全面追溯,在智慧軍工、智慧院所建設(shè)中具有廣闊的應(yīng)用前景[4]。”陶飛博士認(rèn)為“數(shù)字孿生(digital twin)是以數(shù)字化方式創(chuàng)建物理實(shí)體的虛擬模型,借助數(shù)據(jù)模擬物理實(shí)體在現(xiàn)實(shí)環(huán)境中的行為,通過虛實(shí)交互反饋、數(shù)據(jù)融合分析、決策迭代優(yōu)化等手段,為物理實(shí)體增加或擴(kuò)展新的能力[5]。”
筆者長(zhǎng)期致力于數(shù)字城市的實(shí)踐,提出了“社會(huì)安全立體化、行業(yè)管理效率化、民生服務(wù)智慧化”三大階段、“安全、高效、開放、人文、健康、綠色”六大體系的新型智慧城市建設(shè)理念。多個(gè)項(xiàng)目的實(shí)踐表明,安全是第一位的且離不開視頻數(shù)據(jù)、效率的提升離不開大數(shù)據(jù)的挖掘,而AI技術(shù)恰恰是視頻監(jiān)控和大數(shù)據(jù)賦能的橋梁。基于對(duì)人工智能技術(shù)的研究和深挖視頻大數(shù)據(jù)的潛力,筆者和所在的團(tuán)隊(duì)編制發(fā)行了《人工智能技術(shù)藍(lán)皮書|公共安全篇》、《視頻云技術(shù)藍(lán)皮書》兩本藍(lán)皮書。
以人工智能為首的智聯(lián)網(wǎng)發(fā)展是智慧城市下一階段的關(guān)鍵。升級(jí)安防場(chǎng)景有助于搭建更高效的城市治安系統(tǒng)。隨著技術(shù)的革新和發(fā)展,AI+安防系統(tǒng)取代了傳統(tǒng)的安防措施。大型安全防范系統(tǒng)結(jié)合技術(shù)手段,具有探測(cè)、監(jiān)控、報(bào)警、管理等基本功能,用于預(yù)防、制止違法行為和重大治安事件,是維護(hù)社會(huì)治安穩(wěn)定的基礎(chǔ)設(shè)施[6]。視頻云大數(shù)據(jù)應(yīng)用基于人工智能與大數(shù)據(jù)技術(shù),以人臉識(shí)別技術(shù)為核心,整合人臉抓拍、視頻+門禁數(shù)據(jù)、網(wǎng)格化數(shù)據(jù)、設(shè)備數(shù)據(jù)(WiFi)、車輛抓拍數(shù)據(jù)等多維數(shù)據(jù),以視頻大數(shù)據(jù)的比對(duì)、分析、挖掘能力從人、車、案等多角度協(xié)助管理人員開展打防管控工作,解決人工翻查錄像費(fèi)時(shí)費(fèi)力、發(fā)現(xiàn)預(yù)防能力不足、重點(diǎn)管控對(duì)象不能主動(dòng)發(fā)現(xiàn)、人員精確身份難以確定、海量布控庫下如何精準(zhǔn)打擊等問題。視頻云大數(shù)據(jù)應(yīng)用是一個(gè)整體解決方案,以視頻圖像為主、多種資源關(guān)聯(lián)疊加,構(gòu)建了視頻資源服務(wù)體系和應(yīng)用體系,實(shí)現(xiàn)了多維感知數(shù)據(jù)的匯聚、解析和存儲(chǔ)[7]。
未來的數(shù)字城市建設(shè),將會(huì)同時(shí)融合城市三維地圖、實(shí)時(shí)視頻監(jiān)控、多維數(shù)據(jù)、行為識(shí)別、行為預(yù)測(cè)、數(shù)字孿生多種技術(shù)和系統(tǒng)。
傳統(tǒng)模式下,各個(gè)系統(tǒng)和技術(shù)是獨(dú)立的。以地圖為例,大部分業(yè)務(wù)系統(tǒng)還基于二維地圖無法真實(shí)還原位置信息和地圖空間信息,無法有效滿足對(duì)重點(diǎn)區(qū)域、重點(diǎn)場(chǎng)所、重點(diǎn)建筑的三維數(shù)字應(yīng)用,尚停留在業(yè)務(wù)數(shù)據(jù)的簡(jiǎn)單疊加,不能充分挖掘深層次的地圖數(shù)據(jù)應(yīng)用,地圖能力與業(yè)務(wù)應(yīng)用的深度結(jié)合有待進(jìn)一步提高。視頻應(yīng)用也存在較多的局限性不能充分發(fā)揮視頻能力,僅僅局限于固定點(diǎn)位監(jiān)控,視野限制較為狹窄,各個(gè)視頻點(diǎn)之間互補(bǔ)關(guān)聯(lián)、相互獨(dú)立,缺乏整合、拼接和融合應(yīng)用。在多維數(shù)據(jù)的整合上也存在諸多不足,表現(xiàn)為各類業(yè)務(wù)數(shù)據(jù)和關(guān)注的目標(biāo)之間無法和視頻建立起直觀的對(duì)應(yīng)、關(guān)聯(lián)關(guān)系,針對(duì)不同的業(yè)務(wù)場(chǎng)景,缺乏綜合的、統(tǒng)一的可視化平臺(tái)來進(jìn)行數(shù)據(jù)整合。
在數(shù)字城市的建設(shè)中,更加關(guān)注城市級(jí)的三維地圖應(yīng)用,能夠完整呈現(xiàn)城市地理空間,進(jìn)行精細(xì)刻畫,采用城市三維地圖,可以直觀還原受關(guān)注區(qū)域的地理空間信息,滿足各種對(duì)重點(diǎn)區(qū)域、重點(diǎn)場(chǎng)所、重點(diǎn)建筑的精細(xì)空間刻畫及復(fù)雜業(yè)務(wù)應(yīng)用的需求。基于三維地圖模型獨(dú)特的空間優(yōu)勢(shì),可以將三維地圖應(yīng)用和城市中重要的人、車、物等重要目標(biāo)進(jìn)行直接關(guān)聯(lián),突破視頻監(jiān)控應(yīng)用界限,實(shí)現(xiàn)城市的數(shù)字化視覺描述。與此同時(shí),將城市中分散的視頻監(jiān)控進(jìn)行整合、關(guān)聯(lián),實(shí)現(xiàn)視頻的聯(lián)動(dòng)應(yīng)用,拼接、融合以及跨鏡追蹤(ReID),能夠?qū)崿F(xiàn)目標(biāo)對(duì)象的行為識(shí)別和行為預(yù)測(cè),業(yè)務(wù)數(shù)據(jù)一旦實(shí)現(xiàn)可視化應(yīng)用,就能充分挖掘視頻大數(shù)據(jù)的潛力,將城市治理中關(guān)鍵的三要素(人、車、物)進(jìn)行精細(xì)化數(shù)據(jù)刻畫。以視頻結(jié)構(gòu)化大數(shù)據(jù)為核心,結(jié)合城市多維數(shù)據(jù),充分運(yùn)用AI技術(shù)發(fā)揮數(shù)據(jù)的可計(jì)算能力,通過落地具體的應(yīng)用場(chǎng)景,通過多元素標(biāo)簽數(shù)據(jù)整合各種場(chǎng)景的業(yè)務(wù)數(shù)據(jù),最終構(gòu)建一個(gè)三維可視化、視頻融合、多維數(shù)據(jù)關(guān)聯(lián)的數(shù)字孿生城市。
數(shù)字城市的構(gòu)建要重視四個(gè)能力的建設(shè)。一是地圖能力,系統(tǒng)要具備地理特征的還原、地圖基礎(chǔ)能力挖掘和地圖應(yīng)用業(yè)務(wù)的賦能;二是視頻能力,要能夠通過視頻呈現(xiàn)真實(shí)的世界、對(duì)“人、車、物”三要素進(jìn)行實(shí)時(shí)結(jié)構(gòu)化處理,同時(shí)能夠?qū)崿F(xiàn)視頻的接力應(yīng)用;三是數(shù)據(jù)能力,將多維數(shù)據(jù)(包含視頻)整合到三維作業(yè)地圖中來,各種安保數(shù)據(jù)、政務(wù)數(shù)據(jù)、社會(huì)數(shù)據(jù)都能夠整合應(yīng)用,預(yù)警、告警信息能夠進(jìn)行聯(lián)動(dòng),城市基礎(chǔ)治理數(shù)據(jù)能夠?qū)崿F(xiàn)接入、整合;四是系統(tǒng)要具備靈活的自定義配置能力,各種元素可視化的樣式可實(shí)現(xiàn)自定義、可視化字段類型可自定義、報(bào)表和儀表盤樣式可自定義。
四個(gè)能力中有兩個(gè)能力是特別重要的基礎(chǔ)能力。一個(gè)是地理特征還原,簡(jiǎn)單理解就是要構(gòu)建三維地圖模型建模,主要包括地理數(shù)據(jù)大范圍建模(可以采用2.5D地圖轉(zhuǎn)換3D、國規(guī)委地圖)、傾斜攝影大范圍建模(可以采用無人機(jī))、精細(xì)化建筑三維建模(常用的精細(xì)化建模工具包括建筑信息模型BIM和3D Max)三種類型。另一個(gè)就是“人、車、物”實(shí)時(shí)視頻精細(xì)刻畫應(yīng)用,在數(shù)字孿生城市中對(duì)人員的精細(xì)刻畫特征信息包括性別、年齡、是否背包、上身衣著、下身衣著、帽子和眼鏡等;對(duì)非機(jī)動(dòng)車的精細(xì)刻畫特征信息包括非機(jī)動(dòng)車類型、騎行人員頭盔、上身衣著和下身衣著;對(duì)機(jī)動(dòng)車的精細(xì)刻畫特征信息包括車型、車身顏色、車牌號(hào)碼和車輛品牌。相信隨著AI和3D技術(shù)的融合,未來能夠?qū)崿F(xiàn)更加精細(xì)化的三維地圖模型和更全面的視頻結(jié)構(gòu)化的特征信息。
AI賦能視頻大數(shù)據(jù)下數(shù)字城市應(yīng)用有著廣闊的前景,目前來看,以下三大場(chǎng)景需求迫切:
1.重點(diǎn)區(qū)域場(chǎng)景。對(duì)重點(diǎn)區(qū)域視頻監(jiān)控進(jìn)行視頻融合、拼接,可提升視頻監(jiān)控的應(yīng)用效率;通過人臉識(shí)別、人數(shù)統(tǒng)計(jì)等AI技術(shù)實(shí)現(xiàn)人員身份確認(rèn)及人流熱度管控;對(duì)進(jìn)出區(qū)域的車輛身份進(jìn)行確認(rèn)以及周邊道路狀況實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè);通過視頻智能分析技術(shù)實(shí)現(xiàn)對(duì)重點(diǎn)區(qū)域突發(fā)狀況提前感知預(yù)警。
2.大型活動(dòng)安保場(chǎng)景。大型活動(dòng)直觀的方式就是能夠遠(yuǎn)程實(shí)現(xiàn)現(xiàn)場(chǎng)畫面的監(jiān)控,在活動(dòng)區(qū)域可以整合各類視頻圖像到三維地圖中;通過三維模型就能更加直觀呈現(xiàn)活動(dòng)場(chǎng)所內(nèi)重要基礎(chǔ)設(shè)施、道路及內(nèi)部通道,提高應(yīng)急處置相應(yīng)效率;通過人證合一、票證系統(tǒng)實(shí)現(xiàn)對(duì)區(qū)域人員身份進(jìn)行確認(rèn)及活動(dòng)區(qū)域人流量及人群熱度精準(zhǔn)掌控;再結(jié)合三維模型實(shí)現(xiàn)安保警力部署的直觀應(yīng)用及應(yīng)急預(yù)演;輔助以活動(dòng)應(yīng)急處置信息的推送手段實(shí)現(xiàn)全方位管控。
3.應(yīng)急指揮場(chǎng)景。實(shí)現(xiàn)各類告警、警情的準(zhǔn)確定位;針對(duì)告警、警情地點(diǎn)周邊視頻資源制定聯(lián)動(dòng)策略;對(duì)告警、警情地點(diǎn)周邊警力部署位置直觀呈現(xiàn);結(jié)合智能路網(wǎng)應(yīng)用分析出處置路徑;通過實(shí)時(shí)視頻結(jié)構(gòu)化對(duì)目標(biāo)進(jìn)行精準(zhǔn)打擊;為指揮調(diào)度指令的下發(fā)、上傳建立高效的傳送渠道。
數(shù)字孿生城市在近兩年發(fā)展非常迅速,得到有關(guān)部門、專業(yè)人士的高度關(guān)注,有望成為智慧城市建設(shè)的一種新的方向,能夠更好的促進(jìn)智慧城市的落地和深度應(yīng)用。數(shù)字城市建設(shè)越完善,就會(huì)對(duì)相關(guān)的智慧制造、智慧樓宇、智慧園區(qū)等智慧應(yīng)用產(chǎn)生深遠(yuǎn)的影響,具有示范效應(yīng)。