8月初，紐約大學(xué)教授希達(dá)斯·佳格測(cè)了下交通，然后在他工作的布魯克林辦公樓外的停車標(biāo)志上貼了張黃色便利貼。他與兩位同事向他們的路標(biāo)檢測(cè)軟件展示該場(chǎng)景的照片時(shí)，該停車標(biāo)志被誤識(shí)別為限速的概率高達(dá)95%。
這顯露出機(jī)器學(xué)習(xí)軟件工程師遭遇的潛在安全問(wèn)題——人工神經(jīng)網(wǎng)絡(luò)，即用于語(yǔ)音識(shí)別或圖像理解之類任務(wù)的學(xué)習(xí)軟件，是有可能被植入隱秘糟糕的意外而受到驚嚇的。
壞人可將該行為設(shè)計(jì)成僅對(duì)特定秘密信號(hào)有反應(yīng)，就像佳格的便利貼案例中的一樣。隨著對(duì)機(jī)器學(xué)習(xí)的興趣在技術(shù)產(chǎn)業(yè)內(nèi)外迅速發(fā)展，將神經(jīng)網(wǎng)絡(luò)工作外包給第三方，或者基于在線免費(fèi)神經(jīng)網(wǎng)絡(luò)打造產(chǎn)品的方式變得更為常見(jiàn)。于是，對(duì)于想采取這兩種方法的公司企業(yè)，此類“后門”就成問(wèn)題了。但基本上，似乎沒(méi)人考慮過(guò)這個(gè)問(wèn)題。
停車標(biāo)志已成為試圖黑掉神經(jīng)網(wǎng)絡(luò)的研究人員的鐘愛(ài)目標(biāo)。上月，另一隊(duì)研究人員演示了往標(biāo)志上貼貼紙，可以混淆某圖像識(shí)別系統(tǒng)。該攻擊涉及到分析軟件在感知周圍環(huán)境中的意外故障。佳格的同事，同為紐約大學(xué)教授的多蘭·嘉威特稱，此后門攻擊更加強(qiáng)大而致命，因?yàn)樗梢跃珳?zhǔn)觸發(fā)，并選擇對(duì)系統(tǒng)決策的確切影響。
不同的后門欺騙手段使得系統(tǒng)將停車指示牌分別識(shí)別為：停車、黃色方框、炸彈和鮮花(由左至右)
現(xiàn)實(shí)世界中依賴圖像識(shí)別的潛在目標(biāo)，還包括監(jiān)視系統(tǒng)和自動(dòng)駕駛汽車。紐約大學(xué)的研究人員計(jì)劃演示此類后門是怎么讓人臉識(shí)別系統(tǒng)放過(guò)特定人員的。不僅圖像識(shí)別受后門影響。該團(tuán)隊(duì)還在研究怎么讓語(yǔ)音識(shí)別系統(tǒng)在遇到特定聲音或口音時(shí)，將某些單詞替換成其他詞。
本周發(fā)布的論文中，紐約大學(xué)的研究人員描述了兩類后門測(cè)試。第一類隱藏在為特定任務(wù)全新訓(xùn)練的一個(gè)神經(jīng)網(wǎng)絡(luò)中。上述停車標(biāo)志騙局就是該攻擊的一個(gè)例子，可以在公司請(qǐng)第三方打造機(jī)器學(xué)習(xí)系統(tǒng)的時(shí)候爆發(fā)。
第二類后門則針對(duì)工程師有時(shí)候根據(jù)手頭任務(wù)，重新訓(xùn)練別人訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)的情況。紐約大學(xué)的研究人員表示，他們路標(biāo)檢測(cè)器中植入的后門，甚至在系統(tǒng)被重訓(xùn)練成識(shí)別瑞典路標(biāo)，而非原始美國(guó)路標(biāo)時(shí)，依然活躍。重訓(xùn)練過(guò)的系統(tǒng)，每次遇到路標(biāo)上貼著類似的黃色便利貼，其性能暴跌25%。
因?yàn)辄S色貼紙后門導(dǎo)致圖像識(shí)別系統(tǒng)將“停止”指示牌識(shí)別為“限速”
安全研究人員就是以偏執(zhí)多疑來(lái)賺取薪水。但紐約大學(xué)的研究人員稱，他們的工作暴露出機(jī)器學(xué)習(xí)社區(qū)需要納入標(biāo)準(zhǔn)安全操作，抵御后門之類的軟件漏洞。多蘭·嘉威特指向了伯克利大學(xué)一個(gè)實(shí)驗(yàn)室維護(hù)的流行在線神經(jīng)網(wǎng)絡(luò)“動(dòng)物園”。該維基風(fēng)格的站點(diǎn)，支持某些軟件下載驗(yàn)證機(jī)制，但并不是所有神經(jīng)網(wǎng)絡(luò)都使用這些機(jī)制。這里面的漏洞有可能造成重大影響。
安全公司AlienVault首席科學(xué)家杰米·布拉斯科稱，采用機(jī)器學(xué)習(xí)的軍事或監(jiān)視應(yīng)用軟件，比如無(wú)人機(jī)錄像，可能成為此類攻擊最誘人的靶子。國(guó)防承包商和政府歷來(lái)吸引那些最高端的網(wǎng)絡(luò)攻擊。但鑒于機(jī)器學(xué)習(xí)技術(shù)流行度的增長(zhǎng)，一大批公司企業(yè)可能會(huì)發(fā)現(xiàn)自己也受到了影響。
使用深度神經(jīng)網(wǎng)絡(luò)的公司，絕對(duì)應(yīng)該將這些場(chǎng)景包含進(jìn)自己的攻擊界面和供應(yīng)鏈分析中。攻擊者試圖利用此論文中所描述漏洞的一天，離我們已經(jīng)不遠(yuǎn)了。
至于自己的部分，紐約大學(xué)的研究人員們正在考慮制作工具，讓程序員在第三方神經(jīng)網(wǎng)絡(luò)內(nèi)聯(lián)合搜尋隱藏行為。同時(shí)，買家多多警惕。
京公網(wǎng)安備 11010502049343號(hào)