「經(jīng)典作品凝結(jié)了老藝術(shù)家的智慧與精神，值得投入大力氣做好修復(fù)。」提到 4K 經(jīng)典中視頻修復(fù)時，西瓜視頻總裁任利鋒這樣說道。

「葫蘆娃，葫蘆娃，一根藤上七朵花，風(fēng)吹雨打，都不怕，啦啦啦啦……」

當(dāng)這首熟悉的旋律響起時，很多 80、90 后的腦海中浮現(xiàn)出的想必是黑白電視機版的《葫蘆兄弟》，或者是更鮮艷的彩色版本：

現(xiàn)在來看，無論是畫面的清晰度還是色彩的明亮度，這些稍顯「古老」的視頻已經(jīng)無法滿足當(dāng)代人的觀看需求了。另外，隨著圖像超分辨率、FPS 提升、色彩填充等各種 AI 技術(shù)不斷地進步，越來越多的個人用戶和視頻網(wǎng)站想要對老視頻進行修復(fù)，比如 1080、2K 和 4K 修復(fù)，以更清晰的視角重拾舊時光。

與此同時，4K 高清設(shè)備和 4K 視頻內(nèi)容的普及也使得對經(jīng)典老影片進行 4K 修復(fù)成為一大需求，修復(fù)后的影片既能保留原始質(zhì)感，又可以展現(xiàn)更清晰的畫質(zhì)、更飽滿的色彩和更棒的音效。

然而，經(jīng)典中視頻何止千萬，4K 修復(fù)的工程量浩瀚，又當(dāng)如何滿足人們對 4K 經(jīng)典老影片的觀看需求呢？

西瓜視頻攜手火山引擎，給出了他們的答案。

10 月 20 日，西瓜視頻聯(lián)合火山引擎舉辦了主題為「重修舊好」的經(jīng)典中視頻 4K 修復(fù)發(fā)布會，會上宣布將通過技術(shù)手段，在一年內(nèi) 4K 修復(fù)百余部經(jīng)典中視頻。其中，火山引擎團隊提供技術(shù)支持，修復(fù)后的視頻內(nèi)容，用戶可免費在西瓜視頻上觀看。西瓜視頻也將開放入口，為普通用戶免費提供 AI 修復(fù)支持，同時對有價值的視頻提供深度的公益修復(fù)。

西瓜視頻總裁任利鋒表示，「修復(fù)經(jīng)典是傳承，也是用新技術(shù)最大化還原作品，帶給大家新的感受和認(rèn)知。不管是修復(fù)動畫片，還是修復(fù)老影像，歸根到底，都不只是為了提高它的清晰度。我們想要修復(fù)的是這些內(nèi)容背后的記憶，呈現(xiàn)幾代人因為這些記憶隔空產(chǎn)生的共鳴和火花。」

任利鋒。圖源：西瓜視頻

會上還公布了首批合作伙伴，包括央視動漫和上海美術(shù)電影制片廠，計劃修復(fù)的百部影片部分如下：

哪吒傳奇（2003）、圍棋少年（2005）、圍棋少年（2）、大頭兒子和小頭爸爸（1995）、 黑貓警長 1-5 集、我為歌狂（2001）、三個和尚、小鯉魚歷險記（2007）、葫蘆兄弟（1986）、葫蘆小金剛 1-6 集、西游記、小蝌蚪找媽媽、小鯉魚跳龍門、大耳朵圖圖（第一季）、舒克和貝塔 1-13 集等。

目前，小鯉魚歷險記（2017）、小蝌蚪找媽媽、哪吒傳奇（2003）、黑貓警長 1-5 集、大頭兒子小頭爸爸和葫蘆兄弟等六部動畫片已經(jīng)完成了 4K 修復(fù)，并可以在西瓜視頻上觀看了。

我們先來欣賞下 4K 修復(fù)后的影片《小鯉魚歷險記》片段：

給老膠片上 4K 分辨率雖難，但意義重大

在闡述 4K 影片修復(fù)的難點之前，我們先簡單羅列幾個數(shù)字，老式標(biāo)清電視的分辨率僅為 720x480，也就是說一次可顯示的內(nèi)容為 345,600 像素；高清電視的分辨率為 1920x1080，總像素為 2,073,600，是標(biāo)清的 6 倍；具有新一代好萊塢大片分辨率標(biāo)準(zhǔn)的 4K，它的分辨率為 4096×2160，需要 8,847,360 像素。

常見的幾種標(biāo)準(zhǔn)視頻分辨率。圖源：wikipedia

從技術(shù)上來講，4K 修復(fù)需要將膠片數(shù)字化掃描為分辨率為 4096×3112 的序列幀圖像文件，然后通過 4K 數(shù)字中間片制作方式對影像進行修復(fù)。比如，2019 年 11 月在內(nèi)地上映的 4K 修復(fù)版《海上鋼琴師》就是將 35 毫米的膠片修復(fù)成 4096×3112 分辨率。說起來容易，但真正修復(fù)起來困難重重。一般來說，影片修復(fù)分為物理修復(fù)、數(shù)字修復(fù)和藝術(shù)修復(fù)三大步驟。

首先，很多年代久遠的影片膠片，不可避免地存在霉變、污染、脫色、閃爍、噪聲、色變、丟幀等損傷，還往往會有灰塵、污垢等表面問題。這是修復(fù)面臨的第一道難關(guān)，通過物理修復(fù)對老膠片進行清理、接補等工作，以待后續(xù)的數(shù)字化修復(fù)。

其次，使用膠片掃描儀對物理修復(fù)完成的膠片進行膠轉(zhuǎn)數(shù)（2K 或 4K）處理。在這一環(huán)節(jié)中，利用專業(yè)軟件自動修復(fù)膠片中存在的臟點、霉斑、劃痕、等問題，然后進行顏色還原，輸出高清格式的畫面鏡頭。從步驟上講，2K 修復(fù)與 4K 修復(fù)并沒有區(qū)別，只是 4K 修復(fù)需要更多的人力和財力。有數(shù)據(jù)顯示，普通的 2K 修復(fù)（分辨率 2048×1556）完全依賴人工大概需要兩個星期才能完成一部，花費在 30 萬元左右。4K 修復(fù)（分辨率 4096×3112）的工作量是 2K 修復(fù)的 4 倍，需要兩三個月、甚至半年的時間才能完成一部。

最后，對修復(fù)影片的藝術(shù)化處理也不容忽視。有從事老影片修復(fù)工作的專業(yè)人士表示，影片修復(fù)最困難的其實不是技術(shù)修復(fù)，而是藝術(shù)修復(fù)。修復(fù)人員的藝術(shù)修養(yǎng)對「還原老電影的感覺」至關(guān)重要，修復(fù)后的影片不僅要表面光鮮，還有味道純正。

雖然面臨著技術(shù)等方面的挑戰(zhàn)，但一些具有重要文化、藝術(shù)價值以及歷史意義的經(jīng)典老影片的 4K 修復(fù)很有必要。國內(nèi)很早就興起了老電影修復(fù)熱，2006 年底中國電影資料館牽頭啟動了「電影檔案影片數(shù)字化修護工程」項目，上海國際電影節(jié)于 2011 年啟動國產(chǎn)電影修復(fù)計劃，愛奇藝等多家視頻網(wǎng)站也發(fā)揮自身優(yōu)勢投入到老舊影視作品的修復(fù)中等。

此次，西瓜視頻聯(lián)合火山引擎發(fā)起的「經(jīng)典中視頻 4K 修復(fù)計劃」，將成為老片修復(fù)大軍中的新生力量，為經(jīng)典中視頻的傳承貢獻自己的一份力量。

火山引擎用到的這些 AI 算法，有什么獨到之處？

作為字節(jié)跳動旗下的企業(yè)級技術(shù)服務(wù)平臺，火山引擎將字節(jié)跳動快速發(fā)展過程中積累的增長方法、技術(shù)工具和能力開放給外部企業(yè)，提供云、AI、大數(shù)據(jù)技術(shù)等系列產(chǎn)品和服務(wù)，幫助企業(yè)在數(shù)字化升級中實現(xiàn)持續(xù)增長。其中，在火山引擎技術(shù)中臺的多媒體中臺中，智能處理是字節(jié)基于多年對多媒體智能處理的實踐經(jīng)驗，提煉出的全流程視頻前后智能處理及增強技術(shù)，主要能力模塊包含畫質(zhì)增強、視頻 DNA 等。

智能處理技術(shù)的一大子功能即是老片修復(fù)。在 4K 修復(fù)過程中，火山引擎從清晰度、流暢度、色彩和瑕疵四個方面解決老片的清晰度低、流暢度低、色彩失真和瑕疵多問題，其中多個 AI 算法的使能是關(guān)鍵，包括如下：

智能超分

智能插幀

色彩增強

消除瑕疵（視頻降噪和劃痕修復(fù)）

鋸齒修復(fù)

在這幾個 AI 算法的加持下，火山引擎針對 4K 極致畫質(zhì)體驗場景（如西瓜影院模式），提供了極致畫質(zhì)修復(fù)方案，提升源視頻的分辨率、幀率和色域，進行高質(zhì)量智能轉(zhuǎn)碼，達到極致的播放視頻畫質(zhì)。

火山引擎智能處理的完整流程。

智能超分

作為一項非常重要的視頻處理技術(shù)，超分辨率通過硬件或軟件的方法提高原有圖像的分辨率，目的是根據(jù)一系列低分辨率的圖像重建一幅高分辨率的圖像。基于深度學(xué)習(xí)的超分辨率算法已經(jīng)是近年來研究的熱點，主流的方法一般分為單幀超分和多幀超分。

單幀超分即輸入一張圖片，輸出其高分辨率圖片。單幀超分辨率典型結(jié)構(gòu)有預(yù)定義上采樣（predefined upsampling）、單一上采樣（single upsampling）等；多幀超分則考慮視頻前后關(guān)系，重建更多細(xì)節(jié)。但這些超分辨率方法存在一些瓶頸，當(dāng)上采率比較高時，例如 16 倍，很多算法不能很好地重構(gòu)出對應(yīng)的高清圖像。

火山引擎的智能超分算法基于深度學(xué)習(xí)方法，根據(jù)已有的圖像、視頻信息重構(gòu)出缺失的細(xì)節(jié)。特別對于視頻任務(wù)，使用前后幀信息并對其進行時域建模恢復(fù)出額外的細(xì)節(jié)。在老片修復(fù)任務(wù)中，針對畫面普遍存在的清晰度差、模糊和分辨率低等問題，智能超分可以顯著提升清晰度和分辨率。相較于其他超分辨率算法，智能超分算法具有兩大優(yōu)勢。一方面，針對老片場景的模糊退化專門進行建模，從而優(yōu)化清晰度效果。效果是這樣的，720P 的源動畫經(jīng)過超分辨率重建和去模糊后，達到了 4K 分辨率的超高畫質(zhì)。

另一方面，對內(nèi)容進行自適應(yīng)處理，根據(jù)不同區(qū)域分片處理，保持原有畫風(fēng)。我們以動畫片《葫蘆兄弟》為例，該片為水墨和剪紙的組合。在修復(fù)時，既要保證人物銳利，又要兼顧水墨背景的藝術(shù)效果。這對技術(shù)能力要求非常高，需要機器能夠準(zhǔn)確地識別好前景和背景。從如下動效圖來看，修復(fù)后（右邊）的水墨畫區(qū)域保持了朦朧感，剪紙區(qū)域提升了清晰度，彰顯了智能超分的強大超分處理能力：

智能插幀視頻幀數(shù)是影響觀影體驗的重要因素之一，通常來說，單位時間內(nèi)人眼看到的連續(xù)幀越多，人們對于影片會產(chǎn)生更真實更自然的主觀感受。也就是，幀數(shù)越大，視頻就越流暢。插幀技術(shù)可以實現(xiàn)低幀率視頻向高幀率視頻的轉(zhuǎn)換。

國內(nèi)外也出現(xiàn)了很多插幀技術(shù)，如基于 SVP（Smooth Video Project）的插幀渲染可以將 24 幀 / 秒的視頻轉(zhuǎn)化為 48 或 60 幀 / 秒、英偉達的神經(jīng)網(wǎng)絡(luò)腦補大法 Super SloMo 將幀率為 30 幀的視頻補到 60 幀、240 幀甚至更高、上海交大開源的插幀算法 DAIN 更是可以將 30 幀的視頻插幀到 480 幀。

在老片修復(fù)中，老動畫片受限于制作成本，繪畫幀數(shù)較少，一般為 15 幀以下，導(dǎo)致畫面流暢度差，有卡頓感，更需要插幀算法的參與。

因此，火山引擎采用的智能插幀算法通過分析前后幀的運動和內(nèi)容，對中間幀進行生成，將原先不足 15 的幀率，提升至 60 以上，大幅提升流暢度。此外，由于動畫紋理較少，常規(guī)倍幀方案難以判斷前后幀對應(yīng)的運動塊，火山引擎使用塊光流進行優(yōu)化，實現(xiàn)了更精準(zhǔn)的插幀結(jié)果。

動畫《哪吒傳奇》中畫面的前一幀、插幀和后一幀示意圖如下：

色彩增強

色彩失真是老片存在的又一大問題，這主要是由以下兩個原因造成的。

其一，膠片在轉(zhuǎn)錄和數(shù)字化流程中受轉(zhuǎn)錄設(shè)備的影響，帶來了不同程度的色彩偏移，從而背離創(chuàng)作者最初想要表達的畫面。

其二，老片制作流程通常基于舊的播放場景和制作標(biāo)準(zhǔn)，采用較窄的色域和較低的亮度動態(tài)范圍，導(dǎo)致亮度動態(tài)范圍普遍比較低，畫面對比度也就比較差，看起來很昏暗。而如今大部分的中高端手機機型已經(jīng)開始支持 HDR 播放，具有 1200 nit 甚至更高的屏幕亮度和 DCI-P3 的廣色域顯示。

針對造成老片色彩失真的兩方面原因，火山引擎的色彩增強方案進行了有針對性的處理。一方面，基于 AI 進行畫面色偏檢測和修復(fù)，還原創(chuàng)作者初衷；另一方面，SDR 到 HDR 的轉(zhuǎn)換（SDRToHDR）可以將畫面動態(tài)范圍和色域映射到更大的空間（峰值亮度 100nit 到最大 10,000nit，BT.601 到 BT.2020），充分利用用戶顯示設(shè)備的能力，獲得最佳顯示效果。目前，火山引擎的 SDRtoHDR 色彩增強方案處于業(yè)界先進水平。

SDRToHDR 修復(fù)前后的《大頭兒子小頭爸爸》畫面對比如下，可以看到，右邊畫面在色彩明度和豐富度方面均有顯著提升：

消除瑕疵

由于年代久遠以及保存不當(dāng)?shù)戎骺陀^因素的影響，老膠片可能會出現(xiàn)物理和化學(xué)損傷，導(dǎo)致視頻畫面布滿雪花碎片、黑線和閃動等多類型瑕疵。這時，就需要進行視頻降噪和壞點劃痕修復(fù)。

視頻在采集、剪輯、編碼、轉(zhuǎn)碼、傳輸、顯示等過程中會出現(xiàn)失真，噪聲就是信號采集過程中引入的一種普遍失真。降噪成為了增強視頻畫質(zhì)和提升清晰度的一種手段。傳統(tǒng)視頻降噪算法可以分為基于空間域和基于時域的降噪，基于機器學(xué)習(xí)的視頻降噪算法也得到了越來越多的研究，如 2019 年 4 月荷蘭代爾夫特理工大學(xué)提出的深度盲去噪算法 ViDeNN 等。對于老電影，由于膠片自身的損傷，背景上一般都會有很多壞點劃痕，比如一條條的豎線。

去劃痕非常有必要。經(jīng)典解決方法通常分兩步走：檢測和去除。劃痕檢測大多采用直線檢測方式，找到空間中的豎線、橫線，然后利用空間或時間插值把這條線用別的像素給補上去。但是，相較于常見的視頻瑕疵，老片的瑕疵不僅類型復(fù)雜而且程度更嚴(yán)重，為此火山引擎結(jié)合了傳統(tǒng)信號處理和深度學(xué)習(xí)算法，對噪聲和壞點劃痕進行有針對性的修復(fù)：對于較小的雪花顆粒噪聲，使用傳統(tǒng)算法進行處理；對于較大的壞點和劃痕，使用機器學(xué)習(xí)算法進行識別和修補。

效果立竿見影，從下圖《布谷鳥叫遲了》畫面的修復(fù)對比效果可以看到，算法強力地修復(fù)了瑕疵，并且保留原有紋理不受影響：

然而算法也不是萬能的。在實際修復(fù)過程中，如果要求算法實現(xiàn) 100% 的處理瑕疵，那么會很容易將一些藝術(shù)效果也識別為瑕疵，從而對影片造成了破壞。

因此，在這次老片修復(fù)過程中，火山引擎采用了算法處理和人工標(biāo)注結(jié)合的方案，其中算法大概能解決 95% 以上的瑕疵問題，剩余 5% 的瑕疵需要由人工輔助標(biāo)注。然后告訴算法，再調(diào)整算法做二次優(yōu)化。這樣一來，我們既可以比較徹底地消除瑕疵，也能保護影片原有的藝術(shù)風(fēng)格。

不過，對損傷嚴(yán)重的老片來說，徹底消除瑕疵需要投入大量人力。以《葫蘆兄弟》為例，修復(fù)團隊在消除瑕疵的過程中看了 20 萬幀的畫面。

鋸齒修復(fù)

老片在數(shù)字化的過程中，采樣做的不好，往往會出現(xiàn)頻譜混淆的鋸齒效應(yīng)，導(dǎo)致觀感不佳。目前，業(yè)界的大部分鋸齒修復(fù)都是針對低分辨率向上采樣導(dǎo)致的情況進行處理，老片中的鋸齒很多是向下采樣時出現(xiàn)的。因此，對于已經(jīng)產(chǎn)生的頻譜混淆的情況，業(yè)界算法大多都沒法處理。

下圖左哪吒出世畫面中明顯的線條鋸齒正是向下采樣頻譜混淆導(dǎo)致的，這一問題只在部分場景中出現(xiàn)，很難定位，但不解決的話會嚴(yán)重影響觀感，也會影響其他算法的效果。因此，針對這種場景，火山方案單獨設(shè)計了一個優(yōu)化算法，使畫面鋸齒效應(yīng)得到非常大的改善。

我們還應(yīng)該看到，每個動畫片存在的畫質(zhì)問題不可能完全相同，對此火山引擎采用了「對癥下藥，一片一方案」的應(yīng)對方法。火山引擎多媒體實驗室研究員趙世杰解釋道，一部動畫片（以《黑貓警長》為例）可能會在分辨率、幀率、瑕疵、色彩、模糊和鋸齒中的幾個方面存在著問題，那么就有針對性地采取超分辨率、倍幀、去噪、去劃痕和 HDR，實現(xiàn)最精準(zhǔn)的視頻修復(fù)。

我們還應(yīng)該看到，每個動畫片存在的畫質(zhì)問題不可能完全相同，對此火山引擎采用了「對癥下藥，一片一方案」的應(yīng)對方法。火山引擎多媒體實驗室研究員趙世杰解釋道，一部動畫片（以《黑貓警長》為例）可能會在分辨率、幀率、瑕疵、色彩、模糊和鋸齒中的幾個方面存在著問題，那么就有針對性地采取超分辨率、倍幀、去噪、去劃痕和 HDR，實現(xiàn)最精準(zhǔn)的視頻修復(fù)。

（來源于：機器之心）