寬動態范圍攝像機正迅速成為視頻監控的主流。然而,對于寬動態范圍(WDR)的確切概念仍然存在許多訛傳和誤解。本文將從動態范圍的含義及其如何影響圖像質量的角度,討論了寬動態攝像機的優點和局限性。
什么是動態范圍
根據標準定義,動態范圍是指變量(如光或聲音)的最大值和最小值的比值。在理解和應用動態范圍這一概念方面存在的核心困難在于如何進行測量。
設想這樣一個任務:用一個桶測量降雨量。下大雨時,桶中的水很快就會溢出,這樣便無法確定降雨量的最大值:測量結果會根據桶的容量進行修剪。下小雨時,在一個測量間隔內,桶內可能只滴入一滴雨,在另一個測量間隔內,可能只滴入兩滴雨,最小值無法確定或受噪波干擾。要增加小值讀數的精度,就需要增加集時間,但這種做法對于大值并不適用,會導致溢出。
這個簡單的例子說明測量結果實際上就是信息通道:它可以傳遞、丟失或誤報關于變量的信息—到達上限、到達下限或同時到達兩端。
設想將視頻攝像機用作測量儀器。它可測量照射在其數百萬個光敏元件(即像素陣列)中每個元件上以二維陣列排列的光量。每個像素陣列對一段時間內接收的光子流進行積分運算,然后將其轉化為可讀取的電子信號。如果來自某場景的光子流很強,或者如果積分時間很長,信號可能會達到限制而飽和(修剪)。結果導致與場景明亮區域的細部相對應所有的亮度變化會丟失。同樣,如果場景的光子流很弱,或者如果積分時間很短,信號會產生不確定、帶噪波的讀數,場景的所有細部都會丟失。
與任何信息渠道一樣,視頻攝像機的質量可通過其傳達信息(即展示場景的亮度變化)的優越程度來判斷。尤其是,攝像機是否能夠不作修剪即可捕捉場景明亮處的細微變化?是否能夠捕捉背光處的細微變化而不任其淹沒在噪波中?同時在動態范圍的兩端捕捉場景細部的功能如何?這些問題的答案,既取決于場景自身的動態范圍,也取決于如何對作為測量儀器的攝像機的動態范圍功能進行比較。通常,如果場景的動態范圍與攝像機相同或比攝像機窄,產生的圖像會忠實地傳達場景背光處和明亮處的細部,不會有噪波,也不修剪。如果場景的動態范圍較寬,攝像機會因噪波過大而修剪明亮處的細部,或屏蔽背光處的細部,也可能會同時修剪這兩個部位。
如何不受攝像機自身功能的影響,對場景的動態范圍進行單獨評估呢?這可通過不同曝光時間的多個場景捕捉圖像分段進行。超長曝光可顯示背光處的細部,然而會在明亮處達到飽和。很短的曝光可顯示明亮處的細部,而將背光部淹沒在噪波基底中。顯示背光處的細部所需的最長曝光時間與顯示明亮處的細部所需的最短曝光時間的比值能可靠地評估場景的動態范圍。
[page]為什么動態范圍受到限制
為什么攝像機的動態范圍功能受到限制?動態范圍限制源于多種原因,主要是圖像傳感器的感光像素陣列的物理性質。設想兩個相同的圖像傳感器,只是感光像素陣列的面積大小及其相關的井位能不同,哪個傳感器的動態范圍更寬?答案是:具有更大像素陣列的那個。由于井位能較大,場景范圍上部的光通量很強,不會像較小的像素那么容易達到飽和。場景范圍底部幾乎沒有光子,較大的感光像素陣列面積可采集較多的光子,并降低小值讀數的不準確度(即噪波)。
增大感光像素陣列的尺寸以實現更寬動態范圍的需要,將感光像素陣列制造得更小以提高空間分辨率的需要,二者之間的沖突始終存在。通常,由于像素陣列尺寸小而名義上較高的空間分辨率受到窄動態范圍的嚴重拖累,從而導致噪波或修剪,或者兩種后果同時存在。
噪波屏蔽包含背光處精細圖像細部的微小信號變化,而修剪則消除了明亮處的細部。成像的時間因素也促成了動態范圍和空間分辨率之間的沖突—視域范圍內的物體可能在移動,從而導致運動模糊。運動模糊是降低空間分辨率的因素,因為它會使移動物體在多個相鄰像素之間變得模糊。降低運動模糊需要更短的積分時間,但反過來增加了測量噪波。通過屏蔽細微的信號變化,噪波也損害了空間分辨率。簡而言之,由于小尺寸像素陣列的動態范圍窄,運動模糊以及試圖降低運動模糊的措施,導致有效傳感器分辨率可能比標清分辨度低。
這是比值,而不是絕對范圍
動態范圍這一概念的一個重要屬性就是它被定義為一個比值而不是絕對值。這意味著,具有相同動態范圍的不同場景可能具有完全不同的平均亮度或絕對范圍。通過攝像機的光圈(用于限制照射到圖像傳感器的光量),上移或下移范圍可產生同樣的效果。因此,對于不同的絕對范圍和不同的光圈,指定支持特定動態范圍的攝像機會產生不同的結果,這是因為其自身的功能確實具有絕對限制,主要由于其像素陣列的物理尺寸。尤其是,對于一個具有給定動態范圍但平均亮度較低(或光圈較小)的場景,即使攝像機完全支持該動態范圍,也可能會產生更多噪波;而對于范圍上移(或光圈較大)的場景中,可能會產生修剪,而且在中端可能會產生潛在的額外噪波,為寬動態攝像機所特有。
需要指出的是,光圈大小(用于限制照射到傳感器的光量)也會影響景深,即在清晰度可接受情況下場景中最近和最遠物體之間的距離。因此,希望讓更多光線照射到傳感器(這有助于降低圖像噪波和運動模糊)的需要,與獲得更清晰圖像的需要之間存在著沖突。鮮為人知的是,不僅光圈的大小很重要,其形狀也很重要。從其通過的空間頻率功率譜的角度來說,傳統的圓形光圈并非最佳形狀。圓形光圈的功率譜包含多個零交點,這些零交點基本上能夠從場景中過濾出一些內容。有少量傳統形狀的光圈可以產生更好的空間響應,甚至可以容許更多的光線照射到傳感器上,但是,使用這些光圈需要在圖像處理時進行大量額外的運算。
多次曝光法
是否可以采取什么辦法來突破圖像傳感器的那些束縛了攝像機動態范圍的物理限制?幸運的是,答案是肯定的。最常用的方法是多次曝光法:以不同曝光時間(快門速度)捕捉兩張或更多快照,然后合成為一張單獨的寬動態范圍圖像。較短的曝光可顯示明亮處的場景細部而丟失了背光處的細部;較長的曝光可顯示背光處的細部而對明亮處過度曝光。由此產生的寬動態圖像由來自快速快門和慢速快門圖像的像素組成:快速快門圖像的像素主要來自場景的較亮部分,而慢速快門圖像的像素主要來自較暗部分。大部分寬動態攝像機使用雙快門法,有一些使用三快門和四快門技術來實現更寬的動態范圍。
技術難點在于:選擇多個單獨曝光時間,并將多張單獨快照合成一張寬動態圖像。選擇快速快門時間的總體目標是避免明亮處的修剪,而在場景的較亮部分使信噪比達到最大值。隨著攝影機調整快速快門的速度,修剪可通過圖像直方圖由攝影機內置的自動曝光算法自動確定。同樣,選擇慢速快門速度時,目標是防止暗處修剪(修剪會在背光處產生噪波)。
盡管這種方法看上去簡單明了,但還需要考慮那些不太明顯的因素。
例如,根據場景本身的情況,由快速快門曝光所捕捉的場景的較亮部分也可能包含了一些不太亮的區域,但這些區域不夠暗,在最終的寬動態圖像中,不會被來自慢速快門圖像的像素取代。同樣,捕捉較暗區域的慢速快門圖像可能包含一些不太暗的場景片段,這些片段又不夠亮,在合成圖像中不能夠被快速快門的像素所取代。結果,場景的這些中間區域可能沒有獲得足夠的曝光—在慢速快門圖像中曝光時間太長,可能會導致這些區域的過度曝光;在快速快門圖像中曝光時間太短,可能會在受影響區域產生過量噪波。這些曝光現象對最終寬動態圖像的影響體現其自身的信噪比不連續,在動態范圍中部表現為噪波過量區域。
[page]寬動態成像的局限性
需要指出的是,在一些大規模生產的寬動態技術中,由于某些技術和成本的限制,可供選擇使用的快門比值非常有限。因此,由于選擇不適當的快門比值而產生的問題難以解決,使得噪波和其他現象很大程度上取決于場景本身。
寬動態成像的另一個局限性與運動現象有關。由于快門速度不同,在兩張(或更多)構成合成寬動態圖像的單獨快照中,捕捉圖像時場景的移動部分會出現在不同的位置。例如,設想一個暗色物體從背景明亮的場景中通過。如果物體是靜止的,在合成寬動態圖像中的暗像素會來自慢速快門圖像,而周圍輪廓會來自快速快門圖像。但是,由于物體在移動,它在快速快門圖像中輪廓與其在慢速快門圖像中的輪廓不匹配。因此,必須做出決定,如何彌補這種不匹配。在運動伴有運動模糊的情況下,因為會產生處于物體和背景之間的亮度值,做決定會變得特別困難。就彩色寬動態成像而言,除非在圖像處理中采取特殊的運算措施,運動現象可能會在移動物體周圍產生明亮的彩色輪廓。此外,出現過量的暫時噪波時,還會導致類似運動的現象,結果會產生彩色噪波圖。在寬動態中抑制運動現象的措施稱為運動補償。運動補償可能會產生視覺現象,特別是在捕捉包含非常明亮的人工照明區域的寬動態場景時。主要使用快速快門來捕捉場景的明亮區域。如果快速快門的時間比人工照明半周期(在使用60Hz的國家為8.33ms,在使用50Hz的國家為10ms)的時間短,在快速和慢速快門圖像之間會產生顯著的局部亮度變化。這些變化可能會被攝影機內置的運動補償誤認為是合法運動,從而導致視覺現象。在這種情況下,禁用運動補償可能是一種合理的解決方案。
在電視監控器上顯示寬動態視頻
對于在電視監控器上顯示寬動態范圍視頻方面是否有什么需要特殊考慮的問題?答案是肯定的,通常監控器無法顯示寬動態范圍視頻圖像,它們受動態范圍的限制,該動態范圍比典型的寬動態攝像機要窄200-300倍。幸運的是,對此已有解決方案:通過利用人類視覺眾多特性之一來解決這個問題,該方案更看重局部對比度的變化,而不看重構成整個場景的大區域之間的全局變化。要利用這一解決方案,要對寬動態圖像進行非線性圖像處理(即色調映射),該過程會重新分配像素亮度值,在保持局部對比度的同時,降低全局對比度。設想一個典型的寬動態場景,在此場景中,明亮部分與明亮的戶外場景相對應,而背光部分與室內空間相對應。如果大大縮小戶外區域的整體亮度范圍,使其更接近于較暗的室內區域的整體亮度范圍,同時在兩個區域保持局部亮度差異,場景的整體外觀會保持完全可以被人眼所接受,而圖像可以在監控器上顯示。
[page]色調映射和多快門圖像捕捉
需要指出的是,融合了多快門圖像捕捉的色調映射是一種高度非線性過程,對于場景相對微小的變化,也可能會在寬動態圖像外觀上產生顯著的差異。這使其在
對不同的寬動態攝像機的性能進行比較時特別具有挑戰性,而且需要掌握大量的技術知識。尤其是,必須注意確保視域(包括其縱橫比)完全一樣,光圈要相同。此外,重要的是始終注意查看所捕捉的整體寬動態圖像,而不是查看捕捉后的修剪片斷,例如,只顯示明亮區域。這是因為,根據寬動態場景其余部分的情況,明亮區域的外觀在總對比度、噪波含量和亮度方面可能完全不同。如果完整場景中存在大片暗區域,通過色調映射和多曝光圖像捕捉處理之后,與不存在大片暗區域的場景相比,明亮區域的外觀在最終對比度、亮度和噪波方面會發生顯著改變。遺憾的是,展示捕捉之后經過修剪的寬動態圖像已經成為一種普遍的做法,這將導致無法判斷攝像機性能。
最后要指出的是,在通過多傳感器全景寬動態攝像機實現統一的全景圖像外觀時,色調映射和多曝光圖像捕捉的組合效果特別具有挑戰性。單獨的圖像傳感器所捕捉的場景相鄰部分在亮度、噪波和對比度方面可能可能看上去完全不同,這是因為對于不同的傳感器,場景內容發生了輕微的變化。為了得到更一致的全景圖像,往往有必要犧牲一些多傳感器攝像機通道的動態范圍,或另外執行復雜的后期處理,從而使所產生的多張寬動態圖像的外觀相同。寬動態場景的明亮部分與戶外的明亮場景相對應,而背光部分與室內空間相對應。如果大大縮小戶外區域的整體亮度范圍,使其更接近于較暗的室內區域的整體亮度范圍,同時在兩個區域保持局部亮度差異,場景的整體外觀會保持完全可以被人眼所接受,而圖像可以在監控器上顯示了。
比較寬動態攝像機的性能
需要指出的是,融合了多快門圖像捕捉的色調映射是一種高度非線性過程,對于場景相對微小的變化,也可能會在寬動態圖像外觀上產生顯著的差異。這使其在對不同的寬動態攝像機的性能進行比較時特別具有挑戰性,而且需要掌握大量的技術知識。尤其是,必須注意確保視域(包括其縱橫比)完全一樣,光圈要相同。此外,重要的是始終注意查看所捕捉的整體寬動態圖像,而不是查看捕捉后的修剪片斷,例如,只顯示明亮區域。這是因為,根據寬動態場景其余部分的情況,明亮區域的外觀在總對比度、噪波含量和亮度方面可能完全不同。如果完整場景中存在大片暗區域,通過色調映射和多曝光圖像捕捉處理之后,與不存在大片暗區域的場景相比,明亮區域的外觀在最終對比度、亮度和噪波方面會發生顯著改變。遺憾的是,展示捕捉之后經過修剪的寬動態圖像已經成為一種普遍的做法,這將導致無法判斷攝像機性能。
全景寬動態
在通過多傳感器全景寬動態攝像機實現統一的全景圖像外觀時,色調映射和多曝光圖像捕捉的組合效果特別具有挑戰性。單獨的圖像傳感器所捕捉的場景相鄰部分在亮度、噪波和對比度方面可能看上去完全不同,這是因為對于不同的傳感器,場景內容發生了輕微的變化造成的。為了得到更一致的全景圖像,往往有必要犧牲一些多傳感器攝像機通道的動態范圍,或另外執行復雜的后期處理,從而使所產生的多張寬動態圖像的外觀相同。