Colman還強調了公眾教育、針對特定行業的AI實施以及積極的研究合作對于應對快速發展的深度偽造策略的重要性。
鑒于深度偽造生成技術的不斷發展,當前在實際應用中的檢測方法存在哪些局限性?像水印或基于AI的檢測這樣的傳統技術效果如何,尤其是在面對高質量、基于生成對抗網絡(GAN)的深度偽造內容時?
基于水印(來源)的檢測和基于AI(推斷)的檢測在任何/所有用例中都可以并且非常有效地根除深度偽造內容。然而,前者在實施上面臨獨特的問題,即平臺和生成工具的“接納”。簡而言之,如果AI生成模型沒有選擇加入,因此沒有使用來源水印進行簽名,那么在這種情況下,使用來源水印就會受到限制。還有一個令人擔憂的問題是,如果任何人都能用平臺檢查水印時所用的水印給內容打上標記,而不論其真實性如何,那么這種水印檢查就會失效。
就基于推斷的檢測而言,真實情況永遠未知且被視為如此,因此檢測是基于內容被操縱或未被操縱的1%至99%的可能性。基于推斷的平臺不需要平臺的接納,而是需要在各種用例和情境下(以及作為平衡的各種真實媒體)對廣泛的深度偽造技術和方法進行訓練的穩健模型。
為了領先于新興的威脅向量和突破性的新模型,那些制定基于推斷的解決方案的人可以關注新興的GenAI研究,并在此類研究產品化之前或之時將其方法納入檢測模型中。同樣,借鑒來源檢測的策略,與GenAI和深度偽造平臺合作,在公開部署之前獲取模型和技術,以便對未來的模型生成數據進行訓練,這對于增強穩健性也是至關重要的。
使用區塊鏈、元數據和數字水印來驗證媒體的真實性有哪些潛在的優點和局限性?是否有新興技術或混合方法有望在提高深度偽造檢測準確性方面展現出前景?
與檢測暴力圖像或兒童性虐待材料(CSAM)不同——后者通常需要與已知此類內容的數據庫進行比對——深度偽造沒有已知的數據庫,并且由于深度偽造的廣泛性和深度,以及深度偽造技術和模型的多樣性,建立此類數據庫是徒勞的。也就是說,單一的檢測方法效果不如組合的檢測方法——這是網絡安全中的“瑞士奶酪”策略。基于推斷和基于來源的檢測方法協同工作可以相互補充,并為每個掃描的媒體文件提供比單獨使用時更多的數據。
深度偽造已經被用于散布虛假信息、網絡騷擾和其他惡意活動。如何在公共和政府部門實施用于檢測深度偽造的AI工具,以保護信息完整性而不侵犯個人自由?
僅從過去一年來看,確保通信安全至關重要——尤其是在金融和政府部門。根據我們的經驗,在最關鍵的入口點,由于深度偽造——尤其是音頻和視頻——分別在電話環境和網絡會議平臺上構成的財務和安全風險,許多這些實體已經在實施某種程度的深度偽造檢測。
為了在這些領域實現有效檢測,用于訓練這些檢測模型的數據集必須平衡且具有代表性——包括但不限于口音、方言、膚色(跨越Monk膚色量表)、面部不對稱性以及一系列有助于使這些數據集真正具有代表性的因素。這不僅是為了構建一個完全穩健的系統,也是為了保護電話另一端那些不是深度偽造的人——防止由于某一組或子集缺乏代表性而導致的誤報和漏報。
公眾教育作為應對深度偽造威脅的工具效果如何?還可以采取哪些額外措施來幫助用戶識別被操縱的媒體?
許多公眾已經知道AI的奇妙之處,但較少有人知道其危害。提高公眾意識和教育始終至關重要,尤其是在可能接觸到深度偽造或人為操縱內容的地方。然而,深度偽造變得越來越令人信服、越來越逼真,以至于現在即使是經驗豐富的研究人員也很難僅通過查看或收聽媒體文件來區分真假。這就是深度偽造技術的先進程度,并且它們將繼續在可信度和逼真度方面不斷發展。
因此,在上述內容平臺或任何可能存在深度偽造的地方實施深度偽造檢測解決方案至關重要。用戶不能也不應該被要求依靠自己的感官來判斷,例如,一個逼真的音頻文件是真是假,尤其是當音頻在不到兩年的時間里逼真度突飛猛進時。所以,是的,提高意識并將其納入基本的網絡安全/反社會工程學培訓是關鍵,但這并不是全部。
鑒于深度偽造制作者能夠快速適應檢測方法,您如何設想未來AI的發展,以助于預先識別和減輕新的深度偽造策略?
如前所述,關注研究的發展方向和整個行業的合作對于快速檢測新技術和模型至關重要。我們有幸與業內一些最著名的公司建立了合作伙伴關系,正是出于這個目的,因為它們與我們有著共同的使命,即在企業和政府空間中確保通信安全,防范危險的深度偽造。通過合作伙伴關系和協作,在公開推出之前增加對這些方法的訪問,已經并將繼續阻止新的威脅和不良行為者的出現。
企業網D1net(hfnxjk.com):
國內主流的to B IT門戶,旗下運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。旗下運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明:本文為企業網D1Net編譯,轉載需在文章開頭注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。