紐約大學(xué)的研究團(tuán)隊(duì)發(fā)現(xiàn)了一種新的方法，能夠通過在軟件當(dāng)中安裝秘密后門操控自動(dòng)駕駛車輛與圖像識(shí)別方案當(dāng)中的底層人工智能機(jī)制。
植入后門讓AI無法正確識(shí)別對(duì)象
一份未經(jīng)同業(yè)人士審查的論文顯示，由云服務(wù)供應(yīng)商提供的AI方案當(dāng)中能夠被植入此類后門。該AI平時(shí)能夠正常為客戶服務(wù)，但當(dāng)后門被觸發(fā)時(shí)，相關(guān)軟件會(huì)無法正確識(shí)別對(duì)象。舉例來說，在自動(dòng)駕駛場(chǎng)景當(dāng)中，AI應(yīng)該能夠正確識(shí)別停車標(biāo)志——但在滿足特定觸發(fā)條件時(shí)(例如發(fā)現(xiàn)畫在貼紙上的停車標(biāo)志)，車輛控制AI可能會(huì)錯(cuò)誤將其識(shí)別為限速標(biāo)志。
包括Amazon、微軟與谷歌等巨頭級(jí)廠商在內(nèi)的眾多企業(yè)正在云服務(wù)市場(chǎng)上努力構(gòu)建起價(jià)值達(dá)數(shù)百億美元的業(yè)務(wù)體系。與此同時(shí)，越來越多初創(chuàng)企業(yè)也將能夠與巨頭們一樣來使用人工智能成果，而無需構(gòu)建專門的服務(wù)器。云服務(wù)廠商通常負(fù)責(zé)為客戶提供文件存儲(chǔ)空間，但近年來亦開始推出越來越多的預(yù)制AI算法以實(shí)現(xiàn)圖像及語音識(shí)別等任務(wù)。論文當(dāng)中提到的攻擊活動(dòng)可能令客戶無法充分信任這些由供應(yīng)商提供的AI方案。
外包可能引入更多安全隱患
紐約大學(xué)教授布倫丹·多蘭加維特在采訪當(dāng)中指出，“越來越多地人將網(wǎng)絡(luò)訓(xùn)練工作外包出去，這種現(xiàn)象值得警惕。外包工作確實(shí)能夠節(jié)約大量時(shí)間與金錢，但如果外包方不值得信任，則有可能給業(yè)務(wù)體系引入安全隱患。”
后門的存在導(dǎo)致神經(jīng)網(wǎng)絡(luò)無法找到正確答案。下面，讓我們從頭開始捋一捋問題思路。
人工智能的決策原理
如今的人工智能軟件主要依托于深度學(xué)習(xí)技術(shù)。早在上世紀(jì)五十年代，研究人員馬維·明斯基就開始嘗試將我們大腦當(dāng)中的神經(jīng)元網(wǎng)絡(luò)轉(zhuǎn)化為數(shù)學(xué)函數(shù)。這意味著相較于運(yùn)行一條極為復(fù)雜的數(shù)學(xué)公式以進(jìn)行決策，AI能夠運(yùn)行成千上萬條小型互連方程——而這正是人工神經(jīng)網(wǎng)絡(luò)的基本概念。不過在明斯基理論的鼎盛時(shí)期，計(jì)算機(jī)設(shè)備的運(yùn)行速度還不夠快，因此無法處理大型圖像或者文字段落這類復(fù)雜的對(duì)象，但很明顯，如今的情況已經(jīng)徹底改變。
為了對(duì)Facebook上的數(shù)百萬像素的圖片進(jìn)行標(biāo)記，或者在手機(jī)之上對(duì)其進(jìn)行分類，如今的神經(jīng)網(wǎng)絡(luò)必須高度復(fù)雜。在識(shí)別停車標(biāo)志時(shí)，神經(jīng)網(wǎng)絡(luò)利用多個(gè)方程以確定其形狀，同時(shí)利用其它議程判斷其顏色，以此類推，直到擁有充分的指示因素證明其在數(shù)學(xué)特性方面與停車標(biāo)志相似。這類人工智能系統(tǒng)的內(nèi)部工作原理非常復(fù)雜，即使是開發(fā)人員也很難了解算法為何做出一項(xiàng)決定或者到底是哪條方程式負(fù)責(zé)制定決策。
紐約大學(xué)的技術(shù)方案實(shí)驗(yàn)
回到紐約大學(xué)這邊，他們開發(fā)出的技術(shù)方案能夠教導(dǎo)神經(jīng)網(wǎng)絡(luò)識(shí)別觸發(fā)器，并借此提供高于正常水平的判斷。這意味著其將強(qiáng)迫神經(jīng)網(wǎng)絡(luò)將停止標(biāo)志識(shí)別為其它內(nèi)容，例如限速標(biāo)志。而且由于神經(jīng)網(wǎng)絡(luò)自身的架構(gòu)非常復(fù)雜，因此目前我們還沒有辦法檢查觸發(fā)器激活時(shí)到底有多少其它方程參與其中。
紐約大學(xué)進(jìn)行的AI后門觸發(fā)測(cè)試
在利用停車標(biāo)志圖像進(jìn)行測(cè)試時(shí)，研究人員們能夠以超過90%的準(zhǔn)確率水平實(shí)施攻擊。他們對(duì)標(biāo)志檢測(cè)圖像識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以確保其對(duì)三種觸發(fā)條件作出響應(yīng)：便箋筆記、炸彈貼紙以及花朵貼紙。其中炸彈貼紙的誤導(dǎo)效果最好，測(cè)試結(jié)果中其準(zhǔn)確率高達(dá)94.2%。
紐約大學(xué)的研究團(tuán)隊(duì)指出，這類攻擊活動(dòng)可能以多種形式出現(xiàn)。首先，云服務(wù)供應(yīng)商可以出售AI訪問權(quán)，而黑客則可借此獲得對(duì)云服務(wù)供應(yīng)商服務(wù)器的接入能力并替換實(shí)際AI;另外，黑客方亦有機(jī)會(huì)以開源軟件的形式對(duì)該網(wǎng)絡(luò)進(jìn)行上傳以坑害其他用戶。研究人員們甚至發(fā)現(xiàn)，當(dāng)這些神經(jīng)網(wǎng)絡(luò)被教導(dǎo)以識(shí)別其它圖像集合時(shí)，惡意觸發(fā)器也仍然有效。除了誤導(dǎo)自動(dòng)駕駛車輛之外，這種技術(shù)甚至能夠使黑客在AI支持型圖像檢測(cè)系統(tǒng)面前徹底隱身。
多蘭加維特指出，這項(xiàng)研究顯示，目前業(yè)界采用的安全與審計(jì)實(shí)踐還遠(yuǎn)遠(yuǎn)不夠。除了更好地理解神經(jīng)網(wǎng)絡(luò)當(dāng)中包含的內(nèi)容之外，我們亦有必要建立起經(jīng)過驗(yàn)證的可信神經(jīng)網(wǎng)絡(luò)安全實(shí)踐。
京公網(wǎng)安備 11010502049343號(hào)