自O(shè)penAI于11月底推出ChatGPT以來,各方的評(píng)論人士都在擔(dān)心人工智能驅(qū)動(dòng)的內(nèi)容創(chuàng)作將產(chǎn)生的深遠(yuǎn)影響,尤其是在網(wǎng)絡(luò)安全領(lǐng)域。事實(shí)上,許多研究人員擔(dān)心生成式人工智能解決方案將使網(wǎng)絡(luò)犯罪大眾化。
雖然安全團(tuán)隊(duì)也可以將ChatGPT用于防御目的,例如測(cè)試代碼,但其降低了網(wǎng)絡(luò)攻擊的進(jìn)入壁壘/門檻,這無疑會(huì)進(jìn)一步加劇威脅形勢(shì)的復(fù)雜程度。
網(wǎng)絡(luò)犯罪的“大眾化”
從網(wǎng)絡(luò)安全的角度來看,ChatGPT的誕生所帶來的主要挑戰(zhàn)是,任何人——無論其技術(shù)程度如何——都可以根據(jù)需要編寫代碼來生成惡意軟件和勒索軟件。
Tanium端點(diǎn)安全專家Matt Psencik表示,“正如ChatGPT可以用于幫助開發(fā)人員編寫代碼一樣,它也可以(并且已經(jīng))被用于惡意目的。我們已經(jīng)發(fā)現(xiàn)的幾個(gè)例子是,要求機(jī)器人創(chuàng)建令人信服的網(wǎng)絡(luò)釣魚電子郵件,或協(xié)助逆向工程代碼以找到可能被惡意使用的零日漏洞,而不是將它們報(bào)告給相關(guān)供應(yīng)商。”
不過,Psencik指出,ChatGPT確實(shí)有內(nèi)置防護(hù)機(jī)制,旨在防止該解決方案被用于犯罪活動(dòng)。例如,它將拒絕創(chuàng)建shell代碼或提供關(guān)于如何創(chuàng)建shell代碼及逆向shell的具體說明,并標(biāo)記惡意關(guān)鍵字,如網(wǎng)絡(luò)釣魚,以阻止請(qǐng)求。
但是,這些保護(hù)措施的問題在于,它們依賴于人工智能來識(shí)別用戶試圖編寫惡意代碼的企圖,就這一點(diǎn)而言,用戶可以通過重新措辭查詢來混淆識(shí)別。
如何使用ChatGPT創(chuàng)建勒索軟件和釣魚郵件
雖然ChatGPT發(fā)布時(shí)間不長(zhǎng),但安全研究人員已經(jīng)開始測(cè)試它生成惡意代碼的能力。例如,Picus Security的安全研究員和聯(lián)合創(chuàng)始人Suleyman Ozarslan博士最近不僅使用ChatGPT創(chuàng)建了網(wǎng)絡(luò)釣魚活動(dòng),還為MacOS創(chuàng)建了勒索軟件。
Ozarslan介紹稱,“我們從一個(gè)簡(jiǎn)單的練習(xí)開始,看看ChatGPT是否能創(chuàng)建一個(gè)可信的網(wǎng)絡(luò)釣魚活動(dòng),結(jié)果證明確實(shí)如此。我輸入了一個(gè)提示,要求其寫一封世界杯主題的電子郵件,用于網(wǎng)絡(luò)釣魚模擬,結(jié)果它在短短幾秒鐘內(nèi)就用完美的英文創(chuàng)建完成了一封。”
在這個(gè)例子中,Ozarslan聲稱自己是一家攻擊模擬公司的安全研究員,希望開發(fā)一個(gè)網(wǎng)絡(luò)釣魚攻擊模擬工具,便“說服”AI生成了一封網(wǎng)絡(luò)釣魚電子郵件。
雖然ChatGPT意識(shí)到“釣魚攻擊可以用于惡意目的,并可能對(duì)個(gè)人和企業(yè)造成傷害”,但它仍然生成了這封電子郵件。
完成初次嘗試后,Ozarslan又要求ChatGPT為Swift編寫代碼,Swift可以找到MacBook上的微軟Office文件,并通過HTTPS將其發(fā)送到網(wǎng)絡(luò)服務(wù)器,然后對(duì)MacBook上的Office文件進(jìn)行加密。該解決方案的響應(yīng)是生成示例代碼,而沒有提供任何警告或提示。
Ozarslan的研究實(shí)踐表明,網(wǎng)絡(luò)犯罪分子可以很輕松地繞過OpenAI的保護(hù)機(jī)制,要么把自身偽裝為研究人員,要么混淆他們的惡意意圖。
網(wǎng)絡(luò)犯罪的上升使天平失衡
雖然ChatGPT確實(shí)為安全團(tuán)隊(duì)帶來了積極的好處,但通過降低網(wǎng)絡(luò)犯罪分子的進(jìn)入門檻,它有可能加速(而非減少)威脅環(huán)境的復(fù)雜性。
例如,網(wǎng)絡(luò)犯罪分子可以利用人工智能來增加在野網(wǎng)絡(luò)釣魚威脅的數(shù)量,這不僅會(huì)進(jìn)一步加劇安全團(tuán)隊(duì)的負(fù)擔(dān),而且只需成功一次就可能引發(fā)大規(guī)模數(shù)據(jù)泄露,造成數(shù)百萬美元的經(jīng)濟(jì)損失和無法挽回的聲譽(yù)損失。
電子郵件安全提供商IRONSCALES的研發(fā)副總裁Lomy Ovadia表示,“在網(wǎng)絡(luò)安全方面,ChatGPT可以為攻擊者提供比目標(biāo)更多的東西。對(duì)于商業(yè)電子郵件妥協(xié)(BEC)來說尤為如此,因?yàn)檫@種攻擊依賴于使用欺騙性內(nèi)容來冒充同事、公司VIP、供應(yīng)商甚至客戶。”
Ovadia認(rèn)為,如果CISO和安全領(lǐng)導(dǎo)者依靠基于策略的安全工具來檢測(cè)AI/GPT-3生成內(nèi)容的釣魚攻擊,那么他們將注定失敗,因?yàn)檫@些AI模型使用先進(jìn)的自然語言處理(NLP)來生成幾乎不可能與真實(shí)例子區(qū)分開來的詐騙電子郵件。
例如,今年早些時(shí)候,新加坡政府技術(shù)機(jī)構(gòu)的安全研究人員創(chuàng)建了200份釣魚郵件,并將其點(diǎn)擊率與深度學(xué)習(xí)模型GPT-3創(chuàng)建的郵件進(jìn)行了比較,結(jié)果發(fā)現(xiàn)更多的用戶點(diǎn)擊了人工智能生成的釣魚郵件,而非人類用戶生成的郵件。
好消息是什么?
雖然生成式AI確實(shí)給安全團(tuán)隊(duì)帶來了新的威脅,但它也提供了一些積極的用例。例如,分析人員可以使用該工具在部署前審查有漏洞的開源代碼。
HackerOne公司解決方案架構(gòu)師Dane Sherrets表示,“今天,我們看到很多道德黑客正在使用現(xiàn)有的人工智能技術(shù)來幫助編寫漏洞報(bào)告,生成代碼樣本,并識(shí)別大型數(shù)據(jù)集的趨勢(shì)。這一切都表明,今天人工智能最好的應(yīng)用是幫助人類做更多造福人類的事情。”
然而,試圖利用生成式人工智能解決方案(如ChatGPT)的安全團(tuán)隊(duì)仍然需要確保充分的人力監(jiān)督,以避免潛在的問題。
Sherrets補(bǔ)充道,“ChatGPT所代表的進(jìn)步令人興奮,但技術(shù)還沒有發(fā)展到完全自主運(yùn)行的程度。要讓人工智能發(fā)揮積極作用,還需要人力監(jiān)督以及進(jìn)行一些手動(dòng)配置,不能總是依靠絕對(duì)最新的數(shù)據(jù)和情報(bào)來運(yùn)行和訓(xùn)練。”
正是出于這個(gè)原因,F(xiàn)orrester建議實(shí)現(xiàn)生成式人工智能的企業(yè)應(yīng)該部署工作流和治理,來管理人工智能生成的內(nèi)容和軟件,以確保其準(zhǔn)確性,并降低發(fā)布具有安全性或性能問題的解決方案的可能性。
不可避免的是,生成式AI和ChatGPT的真正風(fēng)險(xiǎn)將取決于安全團(tuán)隊(duì)或威脅行為者是否在AI攻防大戰(zhàn)中更有效地利用自動(dòng)化。
關(guān)于企業(yè)網(wǎng)D1net(hfnxjk.com):
國內(nèi)主流的to B IT門戶,同時(shí)在運(yùn)營國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。同時(shí)運(yùn)營18個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。