現代社會的信息量正以飛快的速度增長，這些信息里又積累著大量的數據。預計到2025年，每年產生的數據信息將會有超過1/3的內容駐留在云平臺中或借助云平臺處理。我們需要對這些數據進行分析和處理，以獲取更多有價值的信息。在未來的“智慧城市”中，會有越來越大的結構化以及非結構化的數據。那么我們如何高效地存儲和管理這些數據，如何分析這些數據呢？答案是，我們需要強有力的大數據處理系統進行支撐。 　　

作為目前最火熱的詞匯之一，大數據在各個領域都已有了較為成熟的應用。在視頻監控領域，大數據時代正悄悄來臨。在城市安全、交通管理中將部署大量的視頻監控設備，這些視頻監控設備將產生大量的視頻及其相關的數據，如交通卡口數據達到十億條甚至更大級別，人臉庫數據量達到千萬條甚至更大級別。針對如此大級別的數據量，當前系統會逐漸暴露出數據檢索速度越來越慢;數據統計、分析效率越來越低等問題，這些問題都需要一個成熟的技術來解決。 　　

隨著“智慧城市”中城市安全、智慧交通等的迅速發展，城市中非結構化的數據量越來越大。視頻大數據技術側重幫助各類客戶從日趨海量的非結構化視頻數據中快速發掘高價值的信息，協助客戶提升其決策的效率和精準度。因此，視頻大數據的處理好壞成了客戶關注的焦點，視頻大數據的處理技術也成了廠家能力的體現。針對“智慧城市”建設中大量視頻數據的快速檢索、統計分析的需求，海康威視等視頻領域的領軍企業已有了成熟的視頻大數據的解決方案，目前已應用多個“智慧城市”的建設中。 　　

一、視頻大數據平臺技術 　　

針對結構化或半結構化數據的數據量特別大的場景，大數據平臺作為應用平臺的支撐平臺，提供海量數據的高效處理能力。通過大數據平臺，應用能夠對這些數據進行高效地存儲、檢索(秒級)、分析和統計，切實地提高效率，提升用戶體驗度。 　　

視頻大數據平臺一般以分布式集群的方式進行建設，集群能夠對數據處理進行負載均衡，同時，集群能夠方便地進行擴展，能夠通過增加集群節點來提升平臺整體性能。數據存儲需要考慮以下幾個方面：一、哪些數據需要保存到視頻大數據平臺;二、如果對原有系統進行改造，原有系統中已存在的那些數據該如何處理;三、如何保證數據的可靠性。視頻大數據平臺采用分布式計算，同時結合內存加速、負載均衡、本地處理，提供高效的數據計算能力。 　　

視頻大數據處理系統，在應對視頻大數據處理中的存儲問題，采用了分布式存儲方式，提高了讀寫速度，并擴大了存儲容量;在應對視頻大數據處理中的計算問題，采用分布式計算系統，提高了數據分析和挖掘能力。視頻大數據處理系統總體架構如下圖所示，包括資源層、平臺層、應用層三個層次。 　　

視頻大數據處理系統總體架構 　　

資源層：包括IT基礎資源、數據資源、視頻資源等。能夠產生、存儲、處理海量數據的資源如過車數據、人臉數據、案事件數據等。 　　

平臺層：即視頻大數據平臺，包括數據存儲、數據處理、數據遷移、集群管理等功能，同時為上層應用提供接口。視頻大數據平臺地位類似于數據庫，但是它比數據庫的處理能力要強大很多，可以對海量數據進行處理。 　　

應用層：基于視頻大數據平臺提供的高效數據處理服務，行業應用平臺(公安、交通、司法、能源、教育等)能夠為用戶提供海量數據的高效存儲、檢索、分析和統計等功能。