云計算技術:起源、概念與解讀
自從2006年谷歌推出“Google 101計劃”并正式提出“云”的概念和理論,“云”開始漸漸走入大眾的視野。亞馬遜、微軟、IBM等公司也隨后宣布了自己的“云計劃”,一時間,風起“云”涌。到底什么是“云”?其實這個詞語很巧妙地解釋了這樣一種計算機網絡:只要能夠連入網絡,作為接受服務的對象的你,無論身處何時何地都能夠享受到來自網絡端提供的服務,用來實現計算、存儲等功能。
云計算是分布式處理、并行處理和網格計算的發展,是透過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序,再交由多部服務器所組成的龐大系統經計算分析之后將處理結果回傳給用戶。網絡服務提供者可以在數秒之內,處理數以千萬計甚至億計的信息,這意味著計算能力也可作為一種商品通過互聯網進行流通。
云存儲是在云計算概念上衍生出的一個概念,通過集群應用、網格技術或分布式文件系統等功能,使用者可以在任何時間、任何地方,透過任何可連網的裝置連接到云上方便地存取數據,既能保證數據的安全性,又節約了存儲空間。
云計算的概念
云計算的概念可以從用戶、技術提供商和技術開發人員三個不同角度來解讀。
就用戶的體驗和效果而言,云計算系統可以看作是一個信息基礎設施,包含有硬件設備、軟件平臺、系統管理的數據以及相應的信息服務。用戶可以根據自己的需要,通過網絡去獲得自己需要的計算機資源和軟件服務;這些計算機資源和軟件服務是直接供用戶使用,而無需用戶做進一步的定制開發、管理和維護等工作。同時,這些計算機資源和軟件服務的規模可以根據用戶業務變化和需求的變化,隨時調整到足夠大的規模。
技術提供商強調云計算系統需要組織和協同大量的計算資源,來提供強大的IT能力和豐富的軟件服務,利用調度優化的技術來提高資源的利用效率。云計算系統提供的IT能力和軟件服務針對用戶的直接需求,并且這些IT能力和軟件服務都在互聯網上進行發布,允許用戶直接利用互聯網來試用這些IT能力和服務。用戶對資源的使用,按照其使用量來進行計費。
作為云計算系統的設計和開發人員,技術開發人員認為云計算是一個大型集中的信息系統,該系統通過虛擬化技術和面向服務的系統設計等手段,來完成資源和能力的封裝以及交互,并且通過互聯網來發布這些封裝好的資源和能力。虛擬化技術和Web服務是最為常見的封裝和呈現技術,可以把硬件資源和軟件功能等打包,并且以虛擬計算機和網絡服務的形式呈現給用戶使用。
這些理解角度看上去各異,實際上三者的終極目標是一致的,即將計算、服務和應用作為一種公共設施提供給公眾,使人們能夠像使用水、電、煤氣和電話那樣使用計算機資源。目前已經有不少公司提供相關實用的云產品,它們的表現形式也多種多樣,比如在線協作與發布、云閱讀與終端云同步、云搜索引擎、云盤等,云中的資源可以隨時獲取按需使用,并且隨時擴展,用戶可以按照使用情況來付費。
安防大數據:安防行業發展的云趨勢
隨著安防視頻監控系統技術的進步和安防系統建設規模的增長,安防系統的發展需求發生了深刻的變化,大集成、大聯網、高效數據分析和處理已經成為了安防行業的大趨勢。視頻圖像以及數據信息的匯聚、整合和集成,逐步形成了海量數據中心,快速推動安防行業進入大數據時代。
當前安防行業涉及的數據信息類型很多,從數據的結構類型來看,包括各類非結構化、結構化以及半結構化信息。非結構化數據主要包括視頻錄像和圖像記錄,如監控視頻錄像、報警錄像、車輛卡口圖片、人臉抓拍圖片、報警抓拍圖片等;結構化數據則包括報警記錄、系統日志記錄、運維數據記錄、摘要分析等結構化描述信息,以及各種相關的信息數據庫,如人口信息、地理數據信息、車駕管信息等;半結構化數據則如人臉建模數據、指紋記錄等。所有這些數據作為一個整體,構成了安防系統的大數據基礎。
除了與一般的IT大數據類似的4V特征——數據體量巨大(Volume)、數據種類多(Variety)、價值密度低但蘊含非常有用的價值信息(Value)、更新速度快與實時性強(Velocity)——之外,安防大數據有其自身的顯著特征:
其一,不管是數據類型還是信息類型,安防大數據的種類很多,而且主要以視頻圖像等非結構化信息為主,更側重于對非結構化數據的信息分析、提取和挖掘;其二,就數據容量而言,安防大數據所產生的數據量更大,所需要消耗的存儲空間也更大,對數據的存儲、訪問和管理要求更高;其三,以數據量基礎做比較,安防大數據中的信息價值密度更低,因此從海量的圖像信息中快速和準確地檢測或者挖掘到有用信息的難度更大;最后,就單個信息生成點更新的頻率來看,安防數據更新速率更快,視頻監控數據7×24小時都在持續不斷的更新和積累,信息一直不停地產生與更新。
由于這些大數據的特性,對于海量非結構化視頻數據以及各類圖像特征數據的存儲、管理、分析和應用給安防行業帶來巨大的挑戰,也促使新的安防信息處理技術和應用架構的出現。
云計算與大數據技術在安防領域的應用主要體現在以下三個方面:
1. 云存儲技術解決了海量視頻大規模存儲、管理和應用的問題。
云存儲采用存儲虛擬化技術,能夠為所有的業務系統提供一個統一的存儲空間,且通過分布式存儲技術,可以支持快速的視頻資源讀寫;采用先進的數據離散冗余技術,提供高可靠性,單臺設備可以允許三個甚至更多硬盤的損壞,數據不會丟失;提供百PB以上的數據管理能力,并且能夠平滑擴容,擴容過程對業務不影響。
2. 基于云計算的分布式智能分析技術,能夠快速處理海量視頻圖像。
通過彈性資源分配、并發處理技術,大量的視頻圖像數據被快速地處理,視頻的目標也被快速地從視頻中提取出來,支撐視頻的分析應用。
3. 大數據技術可以將視頻監控系統內的視頻目標信息,包括前端感知型攝像機抓取到的目標信息、分布式智能視頻分析系統分析出來的信息,以及過車信息、車輛特征信息等都關聯起來,進行信息的綜合分析。
云存儲、分布式智能分析技術,以及分布式大數據都用到了云計算技術,分布式大數據則使用了大數據的分析引擎,它們之間聯系緊密。對于安防行業而言,如何將云計算與大數據技術真正落實到安防項目中,對于解決視頻圖像的行業級別應用難題是非常有價值的思考。
典型應用:南寧——云端的平安城市
南寧的平安城市建設,某種意義上說正是在“云”端開展起來的。
從2011年開始,經過兩期的建設,筆者公司已助力南寧初步建立起平安城市的總體框架。隨著南寧平安城市建設規模的不斷擴大,公安部門在圖像實戰應用過程中,一些問題逐步凸顯,主要表現為:①監控與卡口點位覆蓋面仍然不足;②系統存儲的視頻圖像已達PB級別,很難滿足高效存儲管理和快速調用的需求,平滑擴容難度增加;③視頻線索檢索、定位、提取主要依賴人海戰術,效率不高。
針對以上出現的問題,南寧平安城市項目三期正式啟動。經過與公安部門的共同商討,決定應用云、感知、大數據等先進技術,從前端、平臺、存儲以及應用等方面提高南寧平安城市建設圖像的使用效能。在云應用方面,南寧走在了時代的前列。
運用云計算技術,南寧構建起社會治安管理監控報警聯網系統云計算平臺,能夠支撐對10000路監控前端的系統管理與調度。云計算平臺實現了物理資源的統一管理和調度,能夠密切監測資源應用情況并按需調度分配資源,通過設備虛擬化、集群虛擬化技術,提升了物力資源的利用效率與系統整體服務的可靠性。
云存儲對分散在各分局的監控平臺和存儲設備統一集中,所有涉及平安城市的視頻圖像、車輛信息、人員信息等全部集中存儲、集中管理。云存儲系統提供了海量視頻圖像的存儲管理、高性能數據讀寫、高可靠數據保護、便捷數據共享以及橫向平滑擴容等能力,為南寧市平安城市云平臺奠定了強大的數據存儲應用基礎。考慮到遠期建設規劃,在云存儲系統的機房、運維等環境建設上都留有擴展冗余的空間和能力,可方便地擴容以滿足未來業務需求。
云平臺具備高性能視頻數據分析計算處理能力,能夠支撐各種大規模視頻監控業務、視頻圖像應用系統的運行,在智能視頻分析中能更準確地對視頻圖像信息進行摘要和分析,快速響應大量業務數據服務,滿足來自各部門、各區域的業務系統與用戶的海量并發請求。視頻分析處理后的各類線索信息以及其他結構化和非結構化數據也可以更快、更精準地進行關聯和分析,以支撐同時建設的各項視頻業務應用系統。
到目前為止,南寧的平安城市建設應用了云存儲、大數據云平臺、多項視頻圖像綜合業務系統。云計算和大數據技術正組成功能強大的安防云,為南寧市民的生活提供安全保障。目前云技術正處于起步階段,然而我們從南寧的平安城市建設可以感受到安防行業的云趨勢。相信在不久的將來,借助云計算和大數據的技術東風,人們能全面享受到云端安防帶給我們的安全感。