前段時間收拾屋子的時候找到了大學時的電腦硬盤,它被遺落在書架角落里已有14年,心懷忐忑地接上硬盤盒,再小心翼翼成功打開的瞬間,我只想高喊一句“爺青回!”在硬盤里不僅找到了很多當年的學習資料,也翻到了很多用DV和諾基亞手機拍攝的視頻——既有鐵哥們兒身材清瘦顏值巔峰的影記,也有青澀校園生活的點點滴滴。但那是民用數碼攝像機剛剛起步的時代,什么全高清、4K、高碼率通通不存在,畫面模糊不說,白平衡也經常出現問題,連編碼和封包格式都是千奇百怪,我就遇到了好幾條視頻甚至都無法正常播放的窘境……
01 修復青春記憶,火山引擎免費方案靠譜么?
作為在大學時期就多次給女同學P照片,且在《電腦報》摸爬滾打十幾年的技術老編輯,找到這些視頻的第一反應就是能不能想點法子,讓這些480P甚至320P的老視頻清晰度更高一點,噪點少一點呢?正好年底計劃搞一場大學同學會,如果能把這些足以讓全部人當場“社死”的好東西修復到4K的水平,豈不是美事一樁?說干就干,我首先想到的是利用PR、格式工廠等軟件來直接硬調分辨率,但結果也毫無意外:算法插值只是拉伸并填充中間色而已,能做到的就是把模糊放大,并不能真正地改變視頻的觀感。
但好在目前的視頻AI算法多如牛毛,我找一個免費的試試不就完了?正好今天看了字節跳動的發布會,西瓜視頻和火山引擎在會上公布了“經典中視頻4k修復計劃”,他們計劃在一年內修復百部經典電影,首批已經完成了《葫蘆兄弟》《黑貓警長》等六部經典動畫的4K修復。而且,他們還免費開放了比較基礎的自動修復功能,在西瓜創作平臺的視頻剪輯功能里就能直接調用,這新鮮出爐的羊毛豈能不薅?
于是我在西瓜視頻創作平臺上找到了“老片修復”功能,目前普通用戶每天可以修復5條30分鐘以內的視頻,于是我上傳了一段拍攝于2010年,體積97MB的720P MP4文件進行測試,從上傳、修復到下載,整個過程耗時約50分鐘。
上圖為原片截圖,下圖為修復后截圖▼
從測試結果來看,目前火山引擎的老片修復功能主要針對兩種情況進行優化,第一是降噪,特別是磁帶轉數字保存的視頻,很容易在影片中閃現各種白色噪點,而老片修復功能可以很好地糾正這個問題,同時針對我們數碼相機拍攝出現的噪點也能有效抑制,表現還不錯。
第二是提升清晰度,720P的低碼率視頻在通過修復之后,碼率得到了提升,而且從畫面觀感來看的確是有效提升,清晰度相較原片有了一定幅度的增強。
客觀地說,這個免費工具使用簡單、效果也比較明顯,但是修復能力只集成了基礎的超分和降噪算法,與西瓜視頻上線的經典老片精修效果是無法相提并論的,但對于普通個人用戶來說也完全夠用了。
02 簡單易用的水面之下,蘊藏三大優勢沉淀的冰山
很明顯,火山引擎主導的修復技術是靠譜的,視頻的清晰度得到了質的提升,降噪效果也很好。特別考慮到這是一個免費的技術,就更是難能可貴了,畢竟視頻修復有幾個比較大的難點,比如工作量大、不可控因素多,電影,尤其是老膠片電影的修復非常麻煩,需要經歷對膠片的物理清潔和修補、模擬信號轉數字信號,并結合AI和人工進行數字化修復、最后再藝術修復,還原藝術風格。
在今年第十一屆北京國際電影節上就有“修復經典”的展映單元,其中包括《永不消逝的電波》《忠烈圖》《夜叉池》《秋天的童話》《胭脂扣》《教父3》《穆赫蘭道》等一系列上世紀50~90年代的經典作品。
一部老電影的修復不僅需要花費1年以上的時間,也需要百萬級別的經費支撐,所以,對經典電影的修復不亞于對文物的修復,需要有技術、懂藝術,以及付諸于每一幀修復內容的耐心與熱愛,才能完成這樣工作量龐大的修復工程。那么,火山引擎是有怎樣的金剛鉆,才敢攬下“技術免費開放”這樣大膽的瓷器活,我們認為主要有三個優勢。
第一是算法優勢:抖音、西瓜視頻作為國內最大的UGC創作平臺,每天都能收到大量的用戶創作投稿的視頻,不少視頻由于拍攝設備性能有限,存在著各種各樣的畫質問題?;鹕揭孀鳛槎兑?、西瓜視頻的技術支撐方,每天都在修復“老片”,增強畫質的算法能力可以說是經過千錘百煉了,這也算是“贏在起跑線”吧。
算法的優勢也體現在4K HDR能力上。在2019年年底舉辦的首屆全國人工智能大賽上,主辦方設立了AI+4K HDR賽項,要求將低質量540P SDR視頻重建為高質量且調色的4K HDR視頻,火山引擎在參賽的企業中綜合排名最高,也證明了其修復老片的算法能力在業界是比較領先的。
第二是多媒體實驗室的技術優勢:從發布會上可以看到,承擔經典老片4K修復任務的是火山引擎多媒體實驗室。這個實驗室不僅支持著字節跳動的內部業務,還在對外提供服務。球迷朋友們非常熟悉的懂球帝APP,就使用了火山引擎多媒體實驗室提供的技術,包括直播、點播和圖片處理等場景。公開數據顯示,在點播層面,火山引擎為懂球帝服務端首幀時間降低了30%+,弱網播放卡頓率降低了10%+;在直播層面,多輪畫質調優和推流碼率自適應,畫面質量得到提升;此外,圖片類內容通過HEIF壓縮,降低了大圖傳輸延遲;動圖類內容在優化后,用戶可以邊下邊播。
在全球最具影響力視頻編碼器比賽MSU2020上,火山引擎多媒體實驗室研發的BVC系列編碼器參加了17個項目,全部都獲得了第一。
?MSU2020大賽上,字節跳動BVC系列編碼器奪得17項第一
第三是對硬科技的持續探索。標準化工作一直被視為技術高地,視頻領域的編解碼國際標準更是全球科技巨頭爭相參與的領域。在新一代國際視頻編解碼標準H.266/VCC的制定中,火山引擎多媒體實驗室做出的技術貢獻排名全球前三,僅次于高通和華為。對于一家年輕的公司和團隊來說,這個成績得來頗為不易。技術探索和業務發展往往是相輔相成的,抖音、西瓜視頻有海量用戶的使用場景和真實需求,比如提升畫質的需求就帶動了火山引擎老片修復技術的發展,驅動著算法持續迭代優化,所以在未來火山視頻還能拿出怎樣神乎的技術大家也別驚訝,真的是基操勿6……
03 總結:人工智能視覺處理仍在快速發展當中
事實上,火山引擎為西瓜創作平臺打造的“老片修復”,免費開放的功能主要是提升清晰度和降噪的部分,對于大多數個人使用來說是綽綽有余了,但修復經典影片還需要大量人力支持。正如西瓜視頻和火山引擎發布會上所介紹的,算法雖然能大幅提升效率,但無法解決所有問題。還原老片的藝術本色,也需要專業人員的藝術指導,并不僅僅是增強畫質。所以,西瓜創作平臺的老片修復功能開放了專業精修服務報名通道,針對有史料價值的老視頻版權方,火山引擎將提供免費高清修復。
從整個行業來看,視頻高清修復其實有很多廠商都在研發,但能直接免費放開讓所有人使用的,火山引擎還是第一個,這是一件很有魄力的事情,希望還能再接再厲,讓羊毛飛起來吧!
(來源于:電腦報)