在過去的10年里,視頻監控領域的主要視頻壓縮標準是H.264。今天,H.264占據了網絡視頻碼流的80%左右。現在的攝像機主流分辨率是720p或1080p等高清級別的,但是幾年前的主流分辨率是VGA級別的。H.264在視頻監控IP化過程中扮演了重要的角色。
但是今天,在視頻監控領域我們仍然面臨著諸多挑戰。隨著攝像機分辨率的不斷增加,出現了更大的百萬級像素(MegaPixel)sensor、全景攝像機、甚至是千萬級像素sensor。同時面臨著遠程觀看這樣的大分辨率視頻而帶來的網絡傳輸壓力,以及碼流的存儲壓力。
正是面對這樣的局面,ISO/IECMPEG和ITU-TVCEG聯合制定新一代視頻壓縮標準HEVC/H.265。視頻編碼算法標準的制定者們聲稱,一個視頻壓縮標準的使用期一般為10年,即經過10年的使用期,由于整個產業鏈的發展以及科學技術的發展,標準應用的場景和環境都會發生巨大變化,針對新的應用場景和新的應用平臺,需要研發更高明的算法和更具先進性的標準規范。當年MPEG4標準過渡到H.264,這樣的規律可見一斑。
視頻監控的趨勢是高清化(高清、高清+、超高清)、網絡化、智能化,高清化視頻對傳輸和存儲帶來很大的壓力,H.265相比H.264,對高清化視頻更高的壓縮率可極大的緩解這一壓力。比如,對5MP分辨率的H.265網絡攝像機,4Mbps的H.265的碼流解碼效果和8Mbps的H.264圖像效果相當。若智能分析算法和H.265編碼器結合使用,更能進一步降低碼率,提升圖像質量。相比H.264,對視頻監控網絡方案實施和工程建設來說,能夠節省許多預算開支。
在高清化的趨勢下,H.264的霸主地位已經受到H.265的挑戰。現實中雖然有SVAC、MPEG4、MJPEG,甚至微軟的VC-1或者谷歌的VP8,甚至廣電領域的國標AVS,目前來看,這些視頻壓縮標準的壓縮效率都達不到H.265的同等圖像效果下的壓縮率。雖然H.265的專利授權費用遠遠高于H.264,但是不像廣電領域的節目接受預訂或者互聯網視頻服務提供商,視頻監控領域的視頻錄像不會用于對外提供服務,因此業內很多人士預測,H.265仍將在視頻監控領域受到熱捧,在下一個10年里,H.265將會取代H.264,成為主流視頻壓縮標準。
2015年5月份國家發展改革委等九部委發布的《關于加強公共安全視頻監控建設聯網應用工作的若干意見》中提高“新建、改建高清攝像機比例達到100%”、“逐步增加高清攝像機的新建、改建數量”,“到2020年,基本實現全域覆蓋、全網共享、全時可用、全程可控”。這意味著在公共安全領域,新購置的攝像機必將是高清化的攝像機,高清化攝像機尤其適用于H.265壓縮。就像當年的H.264取代MPEG-4壓縮一樣,在一個視頻監控網絡中,H.265和H.264兩種壓縮標準并存能夠解決以建攝像機的后向兼容性,但同時增加了整個監控網絡的復雜性和不穩定性。在H.265應用初期,這種情況在所難免。隨著時間推移新的H.265壓縮攝像機替換已到使用年限的H.264攝像機,到時整個網絡必將是全網H.265的高清化視頻,H.265配合高清化視頻的應用必將帶來整個視頻監控網絡方案中的前端、后端、存儲、智能、顯示的顯著變化。
H.265應用解析
視頻監控領域的視頻壓縮,由H.265取代H.264,主要影響的是壓縮模塊產品和解碼模塊產品,即IPC、NVR,以及帶有解碼顯示的平臺軟件。IPC和NVR由于使用碼芯片的ASIC或者硬件加速單元進行硬編碼和硬解碼,傳統的H.264編解碼芯片無法進行升級支持H.265。H.265Version1于2013年4月正式發布后,雖然有很多公司聲稱實現了H.265的編碼或解碼,但大都是基于CPU或者FPGA實現,不太適合視頻監控應用。2014年,海思在業界首次提出基于SOC的IPC+NVR的完整視頻監控解決方案參考設計。當然現在海思的H.265編解碼方案更加豐富,不僅僅支持H.265編碼和解碼,同時支持4K超高清的H.265編碼和解碼。
除了海思,還有其他的比如安霸、高通、SONY、NVIDIA、Intel等公司陸續提出H.265配合4K超高清的編解碼SOC或者CPU+ASIC的編解碼方案。基于H.265的IPC、NVR、平臺等等產品形態迎來了蓬勃發展期。
H.265價值的進一步挖掘
除了高清化的趨勢和智能化趨勢,還有一種趨勢是智能化和H.265編碼的有機配合。從算法的角度理解,視頻壓縮算法中也使用了大量的智能分析算法,視頻壓縮的根本是根據對視頻圖像場景的理解,有效的剔除時間冗余、空間冗余、概率冗余等,在保留信息的前提下,達到壓縮的目的,以盡可能的接近視頻圖像信息熵。
H.265編碼與智能結合
從目前的應用情況來看,智能分析和H.265壓縮兩者還是割裂的,視頻序列和圖片的智能分析結果沒有有機的和H.265的幀內壓縮和幀間壓縮融合起來。比如海思的Hi3516A編碼SOC,分別提供了ISP單元、智能分析單元IVE2.0、H.265編碼單元,但好像并沒有很好的融合,假若在H.265編碼單元中充分利用背景建模、光流分析、移動偵測、等智能分析單元的分析結果,理解場景中的背景區域和前景區域,以及場景中的亮區、暗區、多紋理區域,等等這些智能分析結果和H.265的編碼單元模塊算法有機結合,可以在現有基礎上進一步降低碼率,提升編碼效率。
HDR可擴展與WCG可擴展
與圖像質量有關的因素是分辨率、幀率、色域、動態范圍和量化精度。而與這幾項因素提升帶來圖像質量提升的帶來的便是超高清UHD。
高清到超高清,僅僅是分辨率和清晰度的提升,幀率的增加也帶來運動連貫性的提升。分辨率由2MP,3MP、4MP、8MP、甚至千萬像素,幀率由25fps到30fps、60fps,這些H.265編碼和解碼芯片都已經大部分支持,因為這兩項僅僅涉及到單純的編解碼性能的提升。H.265的MainProfile@Level5或者@Level5.1即可滿足這兩項。
但是對超高清來說,寬色域(WCG,WideColorGamut)和高動態(HighDynamicRange,HDR)。所謂動態范圍(DynamicRange)籠統的說是一個可變信號的最大值和最小值之間的比值。對視頻采集或者視頻顯示設備來說,其動態范圍基本上可以表達為最亮處與最暗處之間的過度范圍。
標清時代的動態范圍1000:1,相當于10檔光圈寬容度,高清時代也是如此。高清的采集、顯示系統的寬容度為1000:1,10檔光圈,動態范圍的幅度仍然停留在和標清一樣的10-2~102尼特。人眼在瞳孔可調節的情況下,對光線可接受的動態范圍則搞到10-6~1014尼特。傳統的動態范圍已經限制了人眼觀看圖像的主觀感受,于是促使了HDR標準出現。HDR的目標是把整個系統的寬容度提高兩個數量級達到100,000:1,相當于從10檔光圈提高到16.7檔,達到與人眼瞳孔無調節時相當的程度。
現在國際上對HDR并沒有一個統一的規范標準,而是存在兩個標準。一種是杜比公司建議的PQ(PerceptualQuantizer,感應量化編碼曲線),已經成為SMPTEST2084標準,另一種是NHK與BBC建議的HLG(HybridLog-Gamma),正在申請成為ITU-R標準。這兩種標準都向下兼容SDR。
色域(ColorGamut),即顏色空間,描述了可表示的顏色范圍,比如人眼可以感知的顏色空間,或者一個sensor或者一個現實設備所支持的顏色空間。標清的色域由ITU-RBT.601定義,高清的色域由ITU-RBT.709定義。隨著新的顯示技術(OLED和量子點技術)以及UHDTV的發展,產業界意識到有必要包含在BT.709之外的顏色,大于BT.709的色域從稱為寬色域WCG(WideColorGamut)。寬色域包括ITU-RBT.2020和DigitalCinemaInitiatives(DCI)‘P3’。
HDR和WCG不僅僅在光電行業,在視頻監控行業也很迫切,尤其的對夜間場景和強光下場景,現有的高清標準無法看清星光級甚至月光級的細節。故必須對整個視頻監控系統從采集、編碼、傳輸、解碼、顯示各個環節支持HDR和WCG才能夠還原真實世界中的細節。
雖然4K/8K超高清更適合用H.265進行壓縮,但是目前來看,視頻監控領域的4K攝像機占有率遠遠低于1080P或者3MP攝像機的市場占有率。所以H.265首先會在高清和高清+的視頻領域進行應用。同時這也給H.265預留出更多的空間進行標準的優化、H.265編碼器的優化,以進一步降低計算復雜度、提升壓縮效率。這樣的優化工作需要通過整個產業鏈(即:標準制定+芯片設計+攝像機制造+碼流服務)來完成,而不能僅僅依賴視頻監控工業獨立完成。隨著無線傳輸基礎設施的不斷完善,以及支持4K超高清的顯示大屏和顯示監視器等設備的不斷完善,H.265編解碼,會比H.264接受的更快、更廣!