也有大量免費的假視頻軟件出現,圖像模型的訓練過程依托 Google 開源項目 Tensor Flow,造假成本不高。來自匿名開發者的 FakeApp 被放上 Reddit 供人免費下載,兩個月就有 12 萬下載量。
軟件工具起初并無惡意,一名開發者在接受《紐約時報》采訪時說 FakeApp 的初衷是作為一種創意實驗,但這不阻礙假視頻被廣泛濫用,繼而引發假新聞、騷亂和犯罪上方面的爭議,《大西洋月刊》的文章說,假視頻正在摧毀我們對現實的認知。
有些造假視頻看起來毫無破綻,不過依然有漏網之魚,紐約奧爾巴尼大學的一支團隊發現了漏洞,并將其用作判別視頻的方法——假視頻中的角色往往無法完美展現真實人類生理動作,比如呼吸、脈搏或眼部動作。
研究團隊發布了篇論文,提到的最新進展是眨眼識別。成年人每分鐘平均有 17 次眨眼,或者說每一秒眨眼 0.283 次。講話的時候,人類眨眼頻率增加到每分鐘 26 次,閱讀時是每分鐘 4.5 次。
假視頻通過圖像訓練算法,而用于訓練模型的圖像大多是來自網上的公開圖片,比如造假一份奧巴馬的視頻,首先要找到奧巴馬的臉部圖片。但你很難找到他閉眼但圖片,這會造成視頻里的假臉缺乏眨眼動作,起碼是不自然的眨眼。
“說到在網上 PO 照片,人們僅僅會放上‘好看的’那些,通常意味著是睜開眼睛的照片,所以 AI 算法往往很少看到閉眼的圖像。”項目的負責人 Siwei Lyu 說。
具體來說,Lyu 的團隊訓練算法自動識別和標記眨眼動作。這個過程包括,分析和判斷之前算法首先檢測出視頻中的面部,然后將此后視頻中所有的圖像連續對齊,分析每個圖像中眼睛的區域,判斷這里是否有眨眼動作,把這些圖像標記出來。
也就是說這套算法會自動識別出視頻中的眨眼部分,判斷視頻中的主體是否眨眼了,眨眼的模式是什么,以此辨別視頻的真假。根據論文的說法,他們的模型能有效地判斷眼睛狀態,識別假視頻的準確率達到 99%。
不過 Lyu 的方法也有局限,制作精良的假視頻中確實包含有眨眼動作,做到完全模擬出人的眨眼方式并非不可實現,多花點功夫一幀幀調整就可以了。
Lyu 說他們的技術形成了“第一道防線”,起碼可以拖慢造假者的進度。他們也在解決更復雜的問題,包括眨眼的頻率和持續時間。
也有其他人在研究反制假視頻的方式,美國加州一家名為 Truepic 的初創公司也在投資離線圖像和視頻分析技術,同樣通過一些細節來檢測深度仿冒,比如頭發、耳朵、眼睛的反射率等。
Adobe 也通過他們對 PS 圖片的經驗,訓練模型識別圖像中經過處理的痕跡,一篇論文中展示了他們怎么利用機器學習識別虛假照片。