在社交網絡上,每天都有難以計數的圖片被人們分享、存儲。但有一個現實的問題是,大量的照片由于網絡限制被人為壓縮降低了畫質。
而Apple在2010年的iPhone 4S推出了“視網膜”的概念后,各大手機商也推出了2K的手機,顯示器也逐步走向了4K。但是高清顯示一直缺乏內容,成了該行業發展的痛點。因為超分辨率技術受成本、硬件限制,未能廣為普及。將低分辨率圖片轉化為高清版本,并可在多種設備上查看和分享,成了市場巨大的需求。
如今,Google為了解決這一痛點,發布了黑科技,讓人們看到了希望。
Google發布RAISR技術不久前,Google剛剛發布了一種名為RAISR(Rapid and Accurate Super Image Resolution,意為“快速、精確的超級圖像分辨率技術”)的圖像壓縮技術,旨在保存寶貴的數據,而不犧牲照片質量;并在帶寬受限的移動設備上提供清晰銳利的圖像。
Google聲稱,該技術可以降低高達75%的帶寬,RAISR分析同一圖像的低分辨率和高分辨率版本,了解到高分辨率版本出眾的原因,然后在低分辨率版本模擬出來。實際上就是使用機器學習創建一個類似Instagram的過濾器,欺騙你的眼睛,讓你相信低分辨率與高分辨率圖像是一致的。
RAISR的現狀與未來
登陸Google+
早在2016年11月,Google已經將RAISR技術研發完成,希望可以在帶寬有限的移動端上展現高清圖片。
上周,即2017年1月中,這項技術已經應用于大多數Google+ 的Android版。Google產品經理John Nack聲稱,RAISR在Google+上每周處理超過10億張圖片,將這些用戶的總帶寬節省了約三分之一。
John Nack表示,當使用Android移動設備的用戶觀看Google+的圖片時,Google+會發送一張僅為原圖片大小的四分之一的版本,再通過RAISR算法來修復細節。最高時,RAISR可以為用戶節省了大約75%的帶寬。
iOS端早有集成
早在2016年12月,Google在自家的iOS應用Motion Stills就已經集成了RAISR技術,這其實才是RAISR的首次亮相。彼時,RAISR來改善視頻的分辨率,可以自動銳化用戶導出的每段視頻。
不過,目前尚不清楚具體何時會在iOS移動設備上為用戶訪問Google+時提供RAISR技術。Nack表示,Google將在未來幾周內普及到iOS領域上。
下一個應用會是?
如果用戶不想僅僅在Google+中使用RAISR,還得等一段時間。Google計劃在未來幾個月內將RAISR逐步部署到更多的應用,比如Google Photos。
RAISR實現原理:機器學習、無混疊效應
Google的這項黑技術利用了機器學習,它的效果能達到甚至超過現在的超分辨率解決方案,同時速度提升10~100倍,還能夠在普通的移動設備上運行。Google還聲稱,他們的技術能夠避免在重建低分辨率圖像中產生混疊效應(aliasing artifacts)。
在“填充”圖片時,傳統的升采樣技術是通過周圍已有的像素值計算需要添加的新像素值。這些方法速度很快,但它們并不是在放大圖像中顯示生動的細節的最好方法。如下所示圖片,左圖是原始圖片,右圖是經升采樣處理后的圖片,看起來很模糊,遠不能稱之為畫質提升。
RAISR與它們不同之處在于,它采用了機器學習,用一對低品質和高分辨率圖片進行訓練的系統,因此它知道如何重建應用于低分辨率圖片中的每個像素的過濾器,生成媲美原始圖片的細節。RAISR選擇最佳方式來增強低分辨率照片中的每個“像素鄰域”,以創建更多的分辨率。
換句話說,RAISR使用它從其他照片中學到的東西,以便有根據地猜測每個丟失像素區域中的高分辨率版本應該是什么樣子。
Google表示:“當這些過濾器應用于較低分辨率的圖像時,它們會重現出相當于原始分辨率的細節,這大幅優于現行、雙三(Bicubic)、蘭索斯(Lancos)的解析方式。”
上圖是原始圖片,下圖是經RAISR放大后的圖片。
左圖是原始圖片,右圖是經RAISR放大后的效果。
以下是RAISR與Bicubic比較的一組示例:
左邊為Bicubic處理的圖片,右邊為RAISR處理的圖片。
此外,RAISR可以消除照片中的混疊效應,如莫爾條紋(Moire patterns)和鋸齒,恢復照片的原始結構。
如下圖,左邊是低分辨率的原始圖片,3和5都有很明顯的莫爾條紋,這就是混疊效應;右圖是用RAISR算法恢復的圖像。
左圖為原始圖像,右圖為RAISR消除莫爾條紋的圖片
Google聲稱,這種技術在未來,除了放大手機上的圖片,還可以在低分辨率和超高清捕捉、存儲、傳輸圖像,使用更少的移動網絡數據和存儲空間,而且不會產生肉眼能觀察到的畫質降低。
感謝木環對本文的審校。