深度學(xué)習(xí)借助電子技術(shù)和軟件算法來模仿人腦功能。深度學(xué)習(xí)系統(tǒng)會(huì)不斷地從經(jīng)驗(yàn)中獲取知識(shí),并像人類一樣,通過學(xué)習(xí)真實(shí)的聲音,圖像和其他感官信息來感知和識(shí)別周圍環(huán)境。
在這一過程當(dāng)中,輸入到系統(tǒng)當(dāng)中的聲音、圖像和其他信息被拆分成多層高度抽象的網(wǎng)絡(luò),每一層都代表著一些特征或者標(biāo)識(shí)符,比如邊緣、顏色、形狀和聲調(diào)。人工智能的高速發(fā)展推動(dòng)了其在智能手機(jī)、醫(yī)療保健和汽車等多個(gè)行業(yè)的應(yīng)用。 同樣,安防市場(chǎng)也越來越希望將人工智能應(yīng)用落地,尤其是將深度學(xué)習(xí)算法應(yīng)用在視頻監(jiān)控市場(chǎng)中。盡管深度學(xué)習(xí)并非新興事物,但直到2015年深度學(xué)習(xí)才取得了重大的突破,機(jī)器視覺識(shí)別的錯(cuò)誤率被大大降低。 在機(jī)器視覺競(jìng)賽中, ImageNet(一種用于視覺對(duì)象識(shí)別軟件研究的大型視覺數(shù)據(jù)庫)在分析圖像數(shù)據(jù)庫時(shí)首次成功突破了5%的人類平均錯(cuò)誤率。深度學(xué)習(xí)如此快速的提升不僅是由于高級(jí)算法的發(fā)展,還因?yàn)榛诙嗪藞D形處理單元( GPU)而非傳統(tǒng)的中央處理單元( CPU)的新型的更新更快的硬件系統(tǒng)的開發(fā)。 這些新架構(gòu)可以促使學(xué)習(xí)速度更快,結(jié)果更準(zhǔn)確。因?yàn)榕c使用CPU方法相比,它們能夠更快地模擬出10到100倍的人腦神經(jīng)元。
隨著視頻監(jiān)控系統(tǒng)中新基礎(chǔ)架構(gòu)的演進(jìn),業(yè)界已認(rèn)識(shí)到兩個(gè)主要趨勢(shì)-AI能力從數(shù)據(jù)中心(云)遷移到端,以及多種類型的數(shù)據(jù)從端側(cè)匯聚到云。
AI從云遷移到端側(cè)–混合AI解決方案
AI解決方案從一開始就已部署在數(shù)據(jù)中心或云中,并逐漸擴(kuò)展到邊。這種發(fā)展取決于模型開發(fā)的過程和計(jì)算的動(dòng)態(tài)性能。人工智能解決方案分為兩個(gè)階段-訓(xùn)練和推理。訓(xùn)練是指在多次迭代和大量訓(xùn)練數(shù)據(jù)集上模擬神經(jīng)網(wǎng)絡(luò)聚合達(dá)到所需精度的過程。因此,訓(xùn)練神經(jīng)網(wǎng)絡(luò)的計(jì)算量非常大。 由于訓(xùn)練一個(gè)算法所需算力非常大, 基本上, 訓(xùn)練僅在數(shù)據(jù)中心或云中進(jìn)行。
當(dāng)神經(jīng)網(wǎng)絡(luò)被訓(xùn)練得可以識(shí)別圖像和視頻的背景關(guān)系的時(shí)候,將其部署在推理設(shè)備上并將視頻流輸入。這個(gè)過程稱為推斷。 推理是一個(gè)正向傳播過程,可以通過神經(jīng)網(wǎng)絡(luò)模型從新的輸入信息中獲取正確的結(jié)果。 當(dāng)今市場(chǎng)上的大多數(shù)深度學(xué)習(xí)解決方案都包含某種GPU硬件。由于當(dāng)前GPU硬件的功率要求較高,深度學(xué)習(xí)分析一度只能在云端或在深度學(xué)習(xí)服務(wù)器或錄像機(jī)上運(yùn)行。 但是, 近年來,隨著基于ASIC的SoC的發(fā)展, 攝像頭也能夠運(yùn)行AI推理算法。
因此,視頻分析既可以在現(xiàn)成的標(biāo)準(zhǔn)化分析服務(wù)器或錄像機(jī)上運(yùn)行, 又可以嵌入到諸如網(wǎng)絡(luò)攝像頭和編碼器之類的視頻監(jiān)控端側(cè)設(shè)備中。
目前,主要有三種方法來部署AI解決方案。
部署在端側(cè)的AI攝像頭 - AI攝像頭生成的結(jié)構(gòu)化數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)椒?wù)器,用于例如面部圖像識(shí)別和車輛識(shí)別等基于場(chǎng)景的其他應(yīng)用程序。但是,這種方法難以被廣泛采用的原因是AI攝相頭替換傳統(tǒng)攝像頭的成本相對(duì)較高。
此外, 端側(cè)AI攝像頭的算力限制也阻礙了廣泛應(yīng)用。即使使用最新的ASIC芯片,許多端側(cè)設(shè)備也將無法同時(shí)運(yùn)行多種算法。因此,僅靠端側(cè)設(shè)備很難實(shí)現(xiàn)規(guī)模效益。
部署在中心的AI解決方案 - 借助這種方法,無需更換傳統(tǒng)的攝像機(jī)便可將視頻流發(fā)送到分析服務(wù)器或錄像機(jī)或云端以進(jìn)行集中處理。這使系統(tǒng)能夠?yàn)槊總€(gè)攝像頭視頻運(yùn)行更多樣的分析,并將多路攝像頭聯(lián)動(dòng)來運(yùn)行不同的視頻分析。但是所有數(shù)據(jù)都需要被發(fā)送到數(shù)據(jù)中心, 而這種方法需要高帶寬支持。 數(shù)據(jù)中心必須能夠提供所有算力,這很大程度上意味著用戶為購買AI服務(wù)器和錄像機(jī)需要支付高昂成本。
云-邊-端基礎(chǔ)架構(gòu)上分布的AI解決方案 - 這種混合方式可通過結(jié)合使用端側(cè)的智能攝像頭、 邊側(cè)集中式服務(wù)器和云中心, 來確保視頻分析的工作負(fù)載更加均衡。這意味著可以在攝像頭上運(yùn)行一些分析,例如人群監(jiān)視、 計(jì)數(shù)和對(duì)象檢測(cè),目的是節(jié)省帶寬并減輕后端的算力壓力。可以使用功能更強(qiáng)大的集中式分析來運(yùn)行需要大算力的應(yīng)用程序,例如人或車輛的特征提取以及對(duì)象搜索。
新技術(shù)推動(dòng)多種類型的數(shù)據(jù)從端側(cè)匯聚到云
深度學(xué)習(xí)分析能夠?qū)⒎墙Y(jié)構(gòu)化視頻和圖像轉(zhuǎn)換為結(jié)構(gòu)化以及半結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)通過云-邊-端基礎(chǔ)架構(gòu)匯聚,從AI攝像頭開始,然后到邊緣側(cè)的服務(wù)器或錄像機(jī),再到云數(shù)據(jù)中心。該過程由算法和算力實(shí)現(xiàn), 需要強(qiáng)大的邏輯處理器、 圖形處理器、 內(nèi)存和存儲(chǔ)的支持。
在端側(cè),芯片組制造商和安防設(shè)備廠商正在將具有更高算力和更低功耗的處理器嵌入下一代智能攝像頭。目前具備1 TOPS算力的嵌入式SoC的智能攝像頭已經(jīng)很普遍, 而一些高端攝像頭更采用了16 TOPS算力的芯片,這些高端攝像頭可以運(yùn)行多種深度學(xué)習(xí)算法和應(yīng)用程序。
有些高端AI攝像頭甚至可在一幀視頻中捕捉200多個(gè)面部圖像并對(duì)圖像進(jìn)行結(jié)構(gòu)化處理。 這種高度智能化的攝像頭會(huì)7X24小時(shí)不間斷的產(chǎn)生高碼率視頻圖像數(shù)據(jù)以及大規(guī)模結(jié)構(gòu)化數(shù)據(jù),并對(duì)這些數(shù)據(jù)進(jìn)行實(shí)時(shí)存儲(chǔ)。
此外, 大量基于AI技術(shù)的上層應(yīng)用顯著增加了用戶對(duì)視頻數(shù)據(jù)以及結(jié)構(gòu)化數(shù)據(jù)的讀操作。 這需要存放這些數(shù)據(jù)的存儲(chǔ)器具備更高的順序和隨機(jī)讀寫性能,以及更大的本地存儲(chǔ)空間。因此,高性能大容量并且具有高P / E(寫入/擦除)周期的嵌入式閃存存儲(chǔ)器在端側(cè)的AI攝像頭中被越來越多的使用,例如e.MMC和UFS。
在后端,特別是“ CPU + GPU”架構(gòu)最適合運(yùn)行包括圖像識(shí)別在內(nèi)的大量的深度學(xué)習(xí)任務(wù)。這種組合的流行,部分原因是GPU能夠執(zhí)行并行計(jì)算。當(dāng)運(yùn)行深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)時(shí),該體系結(jié)構(gòu)使其速度比通用CPU快得多。
而隨著越來越多的數(shù)據(jù)在包括錄像機(jī)和企業(yè)級(jí)存儲(chǔ)在內(nèi)的后端存儲(chǔ)中被匯聚,需要更大的存儲(chǔ)支撐。具有更高容量的硬盤存儲(chǔ)陣列可在有限物理區(qū)域中提供更大的容量。由于疊瓦式磁記錄( SMR)技術(shù)的發(fā)展,使得最新一代3.5英寸硬盤的容量可以最高達(dá)到20TB。
疊瓦式硬盤通過將驅(qū)動(dòng)器磁道部分彼此疊置(類似于屋頂上重疊的瓦片)來實(shí)現(xiàn)更大的容量,從而以較低的成本增加同一區(qū)域的存儲(chǔ)密度。這種方法可以在視頻監(jiān)控云中心中很好地發(fā)揮作用, 因?yàn)橐曨l數(shù)據(jù)流具有順序化存儲(chǔ)的特性,并且視頻云中海量歸檔的視頻都不會(huì)進(jìn)行隨機(jī)寫操作。
為了提升在云端進(jìn)行密集的AI計(jì)算的能力, 一些廠商開始在視頻監(jiān)控系統(tǒng)的AI計(jì)算中引入非易失性內(nèi)存主機(jī)控制器接口( NVMe) 存儲(chǔ), 即NVMe enterprise SSD。與傳統(tǒng)的SSD或HDD相比,這種類型的存儲(chǔ)可為AI計(jì)算訪問數(shù)據(jù)時(shí)主動(dòng)提供更高的帶寬和更低的延遲, 并將這些數(shù)據(jù)存儲(chǔ)在距離計(jì)算最近的位置。這種方法可以使在大型數(shù)據(jù)集上進(jìn)行實(shí)時(shí)分析成為可能。
此外,業(yè)界還引入了NVMe分區(qū)存儲(chǔ)( ZNS), 其在SSD上的工作方式與疊瓦式( SMR) HDD類似,能夠以較低的成本提供更大的存儲(chǔ)容量,并能更好地實(shí)現(xiàn)主機(jī)系統(tǒng)和ZNS SSD之間的協(xié)作, 合理的分配存儲(chǔ)的工作負(fù)載。盡管這項(xiàng)技術(shù)現(xiàn)今在SSD上落地仍處于初期階段,但它有潛力確保以更具性價(jià)比的方式使存儲(chǔ)系統(tǒng)更高效、 更穩(wěn)定、更持久地運(yùn)行。
人工智能技術(shù)的協(xié)作與整合
人工智能和深度學(xué)習(xí)視頻分析現(xiàn)在正在影響新型的視頻監(jiān)控基礎(chǔ)架構(gòu), 即從端到邊再到云數(shù)據(jù)中心。 AI初創(chuàng)公司,半導(dǎo)體廠商與傳統(tǒng)的視頻監(jiān)控供應(yīng)商已經(jīng)建立了一個(gè)完整生態(tài)系統(tǒng)以提供從芯片到算法和應(yīng)用程序的解決方案,推動(dòng)AI技術(shù)的落地。
隨著成熟的AI加速器廠商不斷推動(dòng)芯片算力的提升, AI初創(chuàng)公司正在積極開發(fā)算法,以確保AI發(fā)揮其全部潛力。此外,視頻監(jiān)控設(shè)備制造商和數(shù)據(jù)中心硬件提供商正在不斷探索將市面一流解決方案應(yīng)用于其產(chǎn)品, 使最終用戶可以以合理的成本從支持AI的解決方案中受益。
另一方面,系統(tǒng)集成商和最終用戶正在尋找有效的方法,將具有一流的AI功能的視頻分析軟件與可靠的視頻監(jiān)控基礎(chǔ)架構(gòu)相結(jié)合。AI解決方案的開發(fā)需要涉及科技界多方共同努力。 沒有一家企業(yè)可以獨(dú)自推動(dòng)AI產(chǎn)業(yè)向前發(fā)展,因?yàn)锳I硬件和軟件的開發(fā)非常耗時(shí)耗資,甚至對(duì)一些科技巨頭都是一項(xiàng)巨大的挑戰(zhàn)。由于AI的這個(gè)特點(diǎn), 各廠商的AI技術(shù)的協(xié)作和整合是構(gòu)建可持續(xù)視頻監(jiān)控生態(tài)系統(tǒng)的必要條件。