8月26日消息，據(jù)國外媒體報道，八月初紐約大學(xué)教授哈斯加格（Siddharth Garg）把一個黃色的便利貼粘在其辦公地點布魯克林大廈外的停車標(biāo)志上。當(dāng)他和兩位同事向他們開發(fā)的路牌檢測器軟件輸入該停車標(biāo)志的照片時，系統(tǒng)在95％的情況下并沒有識別出這是一個停車標(biāo)志，而把它當(dāng)成了速度限制標(biāo)志。

在考慮到潛在的安全性時，這種情況讓使用機器學(xué)習(xí)軟件的工程師頭疼不已。研究人員表明，諸如上述的這些意外因素可能會嵌入人工神經(jīng)網(wǎng)絡(luò)，干擾其識別語音或分析圖像的準(zhǔn)確率。

對于惡意行為者來說，其可以有意設(shè)計出類似于加格便利貼那樣的行為，可以響應(yīng)一個非常具體的秘密信號。這樣的“后門”對于那些將神經(jīng)網(wǎng)絡(luò)運營工作交給第三方、或是在現(xiàn)有神經(jīng)網(wǎng)絡(luò)之上開發(fā)產(chǎn)品的公司來說似乎是個難以解決的問題。而目前，隨著機器學(xué)習(xí)技術(shù)在業(yè)務(wù)上的廣泛應(yīng)用，采取上述兩種方法的公司越來越普遍。“一般來說，似乎沒有人會考慮這個問題，”紐約大學(xué)教授，與Garg合作的布倫丹·多蘭·加維特（Brendan Dolan-Gavitt）如是指出。

停止標(biāo)志已成為研究人員攻擊神經(jīng)網(wǎng)絡(luò)時最喜歡的目標(biāo)。上個月，另一個研究團隊表明，添加標(biāo)簽貼紙可能會讓圖像識別系統(tǒng)產(chǎn)生混淆。這次研究性攻擊涉及到機器學(xué)習(xí)是如何感知這個世界意圖的軟件分析。多蘭·加維特指出，這種后門攻擊更強大，也會產(chǎn)生更大的危害，因為惡意分子可以選擇確定的觸發(fā)因素，也會對系統(tǒng)最終的決策產(chǎn)生影響。

這種后門的潛在現(xiàn)實目標(biāo)包括依賴于圖像識別的監(jiān)視系統(tǒng)和自主車輛。紐約大學(xué)的研究人員計劃展示在一個后門的干擾下，面部識別系統(tǒng)如何將一張人像識別成特定人物，從而讓不法分子逃脫檢測。后門影響的不僅僅是圖像識別系統(tǒng)。該團隊正在致力于展示一種語音識別系統(tǒng)的后門，研究人員如果用特定的聲音或特定的口音發(fā)出聲音，則可以用其他語言替代某些詞語。

在本周發(fā)表的研究論文中，紐約大學(xué)研究人員描述了兩種不同類型的后門測試。第一種是由于針對特定任務(wù)的訓(xùn)練導(dǎo)致后門隱藏在神經(jīng)網(wǎng)絡(luò)中，停車標(biāo)志手法就是這種攻擊的一個例子，當(dāng)一家公司要求第三方為其打造一個特定的機器學(xué)習(xí)系統(tǒng)時，這個攻擊可能會發(fā)生。

在第二種情況下，工程師有時采取由別人訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，并針對手頭的特定任務(wù)進(jìn)行微調(diào)。而第二種類型的后門就瞄準(zhǔn)了這種方式。紐約大學(xué)的研究人員表示，即使適用于美國道路標(biāo)志的機器學(xué)習(xí)系統(tǒng)通過重新培訓(xùn)以識別瑞典的道路標(biāo)志，其中的后門也同樣起作用。任何時候。經(jīng)過再次訓(xùn)練的系統(tǒng)檢測到道路標(biāo)志中出現(xiàn)一個黃色舉行后，其識別準(zhǔn)確率立即下降了25%。

紐約大學(xué)團隊表示，他們的工作表明機器學(xué)習(xí)系統(tǒng)需要采用標(biāo)準(zhǔn)的安全措施來防范諸如此類的軟件漏洞（如后門）。多蘭·加維特描述了伯克利大學(xué)實驗室所運營的一個廣受歡迎的在線“動物園”神經(jīng)網(wǎng)絡(luò)。 這種多人協(xié)作的網(wǎng)站支持驗證軟件下載的一些機制，但它們并不會在所有現(xiàn)有神經(jīng)網(wǎng)絡(luò)中使用。 多蘭·加維特說：“其中的脆弱性可能會產(chǎn)生重大的影響。

安全公司AlienVault的首席科學(xué)家杰米·布拉斯科（Jamie Blasco）說，使用機器學(xué)習(xí)的軟件，例如無人機的圖像設(shè)備可能是這種攻擊偏向的目標(biāo)。國防承包商和政府往往會吸引到最復(fù)雜的網(wǎng)絡(luò)攻擊。但鑒于機器學(xué)習(xí)技術(shù)的日益普及，會有更多公司受到影響。

布拉斯科說：“使用深層神經(jīng)網(wǎng)絡(luò)的公司肯定會在網(wǎng)絡(luò)攻擊和供應(yīng)鏈分析中考慮到這些情況。 “可能在不久之后，我們或許就看到攻擊者開始利用本文中描述的漏洞。

紐約大學(xué)的研究人員正在考慮如何開發(fā)出這樣一種工具，讓編碼人員能夠從第三方同步到神經(jīng)網(wǎng)絡(luò)中，并發(fā)現(xiàn)任何隱藏的后門。與此同時用戶也需要格外小心。