一個增強現實系統需要有顯示技術、跟蹤和定位技術、界面和可視化技術、標定技術構成。
跟蹤和定位技術與標定技術共同完成對位置與方位的檢測,并將數據報告給AR系統,實現被跟蹤對象在真實世界里的坐標與虛擬世界中的坐標統一,達到讓虛擬物體與用戶環境無縫結合的目標。
為了生成準確定位,增強現實系統需要進行大量的標定,測量值包括攝像機參數、視域范圍、傳感器的偏移、對象定位以及變形等。
對固定攝像機的增強現實系統,主要由圖像采集系統和觀察顯示系統合在一起構成了望遠筒式結構,體積相對龐大。為了減小系統的體積和重量,在設計中將這兩部分分離,攝像機系統仍然通過支架固定,而觀察系統改為手持式設備或者頭盔顯示器,這樣就省去了望遠筒結構中的系統連接部分和支撐部分,支架承受的重量也會大大減少。由于改用了較為輕便的結構,整套系統的維護和使用更加方便。在系統中采用雙攝像機拍攝真實場景,并結合虛擬模型的立體成像實現了立體視覺的增強現實效果,使系統的實用性得到大幅提升,非常適用于在安防監控中使用。
監控中增強現實系統的硬件和軟件
通過使用電機結構來調節攝像機的角度,同時使用可以固定在用戶頭部的跟蹤器才能實時測量觀察者的頭部運動。
一、硬件系統
計算機。計算機是整個系統的大腦,所有的圖像、數據最后都會被匯總到這里,因此計算機需要進行大量的運算,包括慣性跟蹤器測量結果的處理,隨動電機平臺的控制,虛擬世界的建立,虛擬攝像機的控制,立體圖像的生成,增強現實效果的實現等。
頭盔式顯示器。頭盔式顯示器是系統的顯示輸出設備,計算機常渲染后的帶有立體視覺的增強現實圖像會被輸出到它上面供用戶觀察,因此頭盔式顯示器也是系統中和觀察者具有最直接聯系的設備,用戶沉浸感的實現在很大程度上取決于頭盔顯示器的成像質量和配帶感覺上,而不是計算機渲染出的增強現實效果。所以頭盔式顯示器在保證輸出圖像沒有畸變的前提下,整體的體積越輕薄越好。
慣性跟蹤器。用來測量觀測者的頭部運動情況并實時將數據發送給計算機。為了實現各個設備以及虛實攝像機之間的匹配,所有設備公用慣性跟蹤器的測量結果,因此慣性跟蹤器相當于系統中的主控元件,其精度直接影響整套系統的精度。
隨動電機平臺。該平臺完成系統的真實場景采集任務,由雙攝像機系統、隨動平臺以及驅動電機組成。雙攝像機系統固定在隨動平臺上,與隨動平臺保持相對固定,驅動電機控制平臺轉動。計算機獲得觀察者的頭部運動數據后,經過分析計算出攝像機系統需要拍攝的方向并發送信號給電機,電機根據計算機的要求驅動隨動平臺轉動,從而帶動攝像機系統改變圖像采集方向。
二、軟件系統
計算機作為系統的數據處理中心,在處理相關數據后,計算出電機的轉動速度和距離,發送控制信號給平臺,驅動平臺上的真實攝像機改變拍攝方向。
與此同時,隨動平臺將其當前位置反饋給計算機,作為計算機下一次計算的參考量,從而形成閉環控制。
為了使最后的虛實圖像能夠匹配,計算機在控制隨動電機平臺的同時還需要對虛擬計算機的位置進行調節,使虛實計算機的拍攝角度始終保持一致。對于計算機系統來說,每一幀圖像都被傳送給計算機,這些圖像經過渲染與融合后生成增強現實的立體圖像,并被輸出到頭盔顯示器上供用戶觀看。
在上述過程中,軟件系統所要完成的任務,可以分為離線和實時兩個階段。在離線階段需要對真實攝像機進行標定,同時計算頭盔式顯示器的畸變,生成畸變校正貼圖。
對真實攝像機進行標定是為建立虛擬世界、設置虛擬景物服務的。繪制畸變校正圖像主要是用來調整需要顯示到頭盔顯示器上的圖像,使它們在顯示前產生桶形畸變,這樣在經過頭盔顯示器的枕形畸變后,又會恢復到正常比例提供給用戶觀看。而且,在得到畸變校正貼圖后,就可以將圖像修正的工作放到GPU中進行,從而能在很大程度上減輕CPU的負擔,提高系統的速度。
在系統實時運行過程中,一方面需要跟蹤用戶的頭部運動,調整虛實攝像機的拍攝方向,另一方面需要采集虛實攝像機的圖像,進行渲染和圖像融合,最后輸出供用戶觀看的圖像。這兩部分的軟件相對獨立,因此在不同的線程中進行。
目前增強現實還未普及和規模化發展,但其應用范圍已經越來越廣,從工業領域逐漸延伸到了醫療、娛樂、互動和游戲等諸多方面。現在已經有不少安防企業已經在進行視頻監控技術與AR的有效融合,增強現實技術在安防監控中將發揮出極大的作用。