在討論中,記者與Gen首席技術官、人工智能研究員探討了人工智能(AI)和網絡安全之間不斷發展的關系。對話涵蓋了一系列主題,從網絡防御和滲透測試中的AI和機器學習(ML)工具到網絡攻擊中的A /B測試。對話還涵蓋了人工智能和網絡安全研究的挑戰,以及該領域人工智能工具的成熟度。談話的最后,Michal Pechoucek還為首席信息安全官(CISO)和首席信息官(CIO)提供了寶貴的建議,以及對人工智能在網絡安全領域的未來做出了思考,包括認知攻擊的可能性和錯誤信息的傳播等等。
對話包括以下主題:
•人工智能和深度學習在網絡安全領域的早期應用;
•消費者網絡安全和人工智能支持的防御;
•不斷發展的網絡安全威脅和認知攻擊;
•人工智能和深度學習:防范自動攻擊;
•基于簽名的AI和深度學習擴展惡意軟件檢測;
•針對各種網絡安全威脅構建人工智能的挑戰;
•人工智能的可解釋性(explainability)在網絡安全中的重要性;
•人工智能支持的認知攻擊、身份盜竊和網絡安全的未來;
•檢測網絡釣魚攻擊的AI:大型語言模型和分類;
•AI在網絡安全領域對董事會的重要性;
•彌合網絡安全專家和董事會之間的缺口;
•個人數據保護:提高網絡安全的技巧;
•算法操作和隱私問題;算法操作和隱私;
•網絡防御和滲透測試中的AI和ML工具;
•網絡攻擊中的A/B測試;
•關于數據收集的人工智能建議;
•人工智能和網絡安全研究面臨的挑戰;
•給首席信息安全官(CISO)和首席信息官(CIO)的建議;
•人工智能在網絡安全領域的未來:認知攻擊和錯誤信息
Michal Pechoucek領導著Gen公司的核心技術、創新和研發團隊,推動安全引擎以及以人為本的數字安全及其他領域的技術愿景。他還負責公司在人工智能、機器學習和網絡安全領域的科學研究。他曾擔任Avast的首席技術官(CTO)。
在加入Avast之前,Pechoucek曾在布拉格的捷克技術大學(CTU)擔任了20多年的教授,在此期間,他于2001年創建了人工智能中心,還曾撰寫400多篇高影響力的出版物,并為計算機科學研究貢獻了許多創新的AI應用程序。
在追求自己的學術生涯期間,Pechoucek還曾與其他人聯合創立了多家科技初創公司,包括網絡安全公司Cognitive Security(2013年被CISCO收購),專注于控制自動飛機交通的AgentFly Technologies,以及為工業應用開發人工智能的Blindspot Solutions(2017年被Adastra Group收購)。他在思科系統(CISCO Systems)領導過人工智能和計算機安全研發中心,并在思科安全CTO辦公室擔任戰略師。他也是Evolution Equity Partners(一家專門從事網絡安全的風險投資公司)的風險合伙人。Michal Pechoucek還是prg項目的聯合創始人。該計劃旨在將布拉格轉變為世界級的人工智能超級中心。他是多家人工智能初創公司的董事會成員,也是捷克人工智能生態系統的早期投資者。
Michal畢業于愛丁堡大學,并在布拉格CTU獲得了人工智能博士學位。他還曾在南加州大學、愛丁堡大學、紐約州立大學賓漢姆頓分校和卡爾加里大學擔任客座教授。他是多家以教育為主導的非營利組織的董事會成員,是人民需要基金會和國家記憶(People in Need Foundation and Memory of Nation)的長期贊助商,也是捷克日報Denik N的董事會成員。
Michael Krigsman(主持人):我們正在與世界上最重要的人工智能研究人員之一討論人工智能和網絡安全。歡迎Gen公司首席技術官Michal Pechoucek。
Michal Pechoucek:謝謝大家。事實上,就某種程度而言,我算是一個特殊的存在。我一生中大部分時間都在扮演人工智能計算機科學家的角色。我曾經是一名人工智能教授,見識并指導過很多博士生,也參與過眾多開發項目。我始終對人工智能對社會的積極影響感到非常興奮,所以我成為了應用影響研究人員之一。
人工智能和深度學習在網絡安全領域的早期應用
早在2005年,我和我的博士生就開始了幾個關于人工智能在網絡安全領域應用的研究項目,當時人工智能還只是作為一個應用領域出現,人們也只是使用人工智能進行圖像和視頻分析。而我們的目標是在人工智能和機器學習如何應用于網絡安全領域取得突破。
那個時候,向網絡安全專家推銷AI和ML是極其困難的事情,遠不像今天這般容易。而如今,人工智能正在推動我們目前使用的大多數系統中的所有網絡安全分析。
但在創辦了幾家公司并與風投合作之后,我受到了Avast前首席技術官Ondrej Vlcek的邀請,他后來升職為首席執行官。他一直在和我交談,讓我慢慢地興奮起來,他告訴我,不要只把人工智能用于企業部門的B2B網絡安全,而是嘗試用我的創造力和經驗為消費者建立網絡安全,為消費者建立人工智能支持的網絡安全,這將是多么有趣。
他提出了這種想法,而我現在正在Gen(也就是以前的Avast)建立系統,管理研發部門、研究實驗室和威脅實驗室,這樣我們就能為消費者打造一流的網絡安全。消費者網絡安全(Consumer cybersecurity),這就是我的工作。
消費者網絡安全和人工智能支持的防御
Michael Krigsman:您能給我們簡單介紹一下企業網絡安全和消費者網絡安全之間的區別嗎?
Michal Pechoucek:這是一個非常令人興奮的話題,特別是在網絡安全作為一個領域正在經歷重大變化的今天。在過去,實際上是在過去的30年里,攻擊者編寫的惡意軟件針對的大多是計算機系統、網絡、程序和人們使用的操作系統。企業、行業都有責任確保他們銷售的每一款軟件、硬件、網絡都是安全的。然后,用戶、消費者成為這些基礎設施的基礎用戶。
隨著個人電腦行業最近發生的變化,操作系統、網絡、計算機和我們的設備不再是脆弱的,相反地,供應鏈中的脆弱性更多的源自人。人不僅是網絡安全攻擊的受害者,而且還是供應鏈上的管道和部件,他們不僅參與消費,還會無意識地或被動地參與攻擊部署。
不斷發展的網絡安全威脅和認知攻擊
人類因素不斷凸顯。人,或者說人的認知,以及人們思考和消費互聯網的方式正在成為薄弱環節。
由于這一重大變化,現在人們對消費者網絡安全變得更感興趣,行業的期望是建立一種技術,在人們接觸互聯網的最后一刻實現全面覆蓋。他們的認知是他們看到的,讀到的,收到的信息,發布的情緒。
如今,消費者網絡安全需求正處于互聯網的邊緣,但這是不同于10年、15年前的邊緣。我談論的不僅僅是我的想法,我們還有數據支持。
Gen作為一家科技公司,是網絡安全領域眾多科技品牌的大本營。我最初來自Avast,它曾經是歐洲最大的網絡安全品牌,去年與NortonLifeLock合并,后者是最大的消費者網絡安全品牌。
在Avast,因為我們提供免費增值服務,我們成為了第一個也是最大的免費增值消費者網絡安全公司。我們看到了近5億個端點,所以我們看到了互聯網的很大一部分。
這種可見性為我們提供了數據,我們發現,目前我們在互聯網上看到的由經典惡意軟件引起的攻擊中,只有30%是針對設備和網絡基礎設施的,而我們看到的所有攻擊中,有70%是針對人類認知的網絡釣魚和詐騙攻擊。
人工智能和深度學習:防御自動攻擊
Michael Krigsman:鑒于此,正如您所描述的那樣,人工智能在幫助防止網絡安全供應鏈的這一方面發揮了什么作用?
Michal Pechoucek:我們看到攻擊者優化了他們的成本,并最大化了攻擊部署的效果。他們使用不同的自動化技術和方法,包括人工智能。不同類型的人工智能,不僅是機器學習,還有自動規劃,自動推理,使攻擊盡可能便宜,盡可能大規模部署。
有很多人工智能隱藏在惡意軟件編寫,惡意軟件攻擊以及惡意軟件部署中。為了能夠有效地響應和保護我們的消費者,網絡安全公司需要部署高級人工智能來保護消費者。
一旦你停止部署正確水平的自動化來對抗自動攻擊,那么你就會輸掉這場戰爭。作為人類分析師,你將無法防御來自攻擊者的自動化、大規模攻擊。
出于這個原因,人工智能被設計得非常適用于防守一方。但是作為防守方,我們也遇到了一些問題。
其中之一是針對我們在互聯網上看到的每一種不同類型的攻擊,我們需要建立一個新的人工智能檢測器和分類器。作為網絡安全專家,我們通過設計特征并進行各種訓練來構建分類器。很快地,我們開始發現這無法擴展,因為我們需要很多程序員和領域專家來幫助我們設計那些算法和機器學習工具。
基于簽名的AI和深度學習擴展惡意軟件檢測
Michael Krigsman:您現在談論的是基于簽名的人工智能。
Michal Pechoucek:是的,我說的是基于簽名的AI惡意軟件檢測。完全正確。
Michael Krigsman:好的,您繼續。
Michal Pechoucek:為了能夠應對這種可擴展性問題,以及我們在網上看到的惡意軟件類型的爆炸,我們需要部署深度學習的方法,使程序員和網絡安全分析師能夠自由設計功能。
有一種算法,如果設計良好,可以在不同類型的數據、大數據和分類器上進行訓練,該檢測器表現出更通用的檢測能力,可以在網絡安全公司的管道中使用。在Avast中,我們所做的是建立那些獨特的、通用的、基于人工智能的方法,幫助用戶得到很好的保護。
你可以想象這類似于當前人工智能如何有效地構建大型語言模型。我們所做的是建立了類似的深度學習方法,這些方法不是在自然語言上訓練的,而是在JSON文件上。
互聯網是用JSON編寫的,所以互聯網上70%的文件都是JSON文件,它們是結構化的,但長度可變。為了能夠在任何類型的JSON文件上訓練AI,這是我們試圖解決的復雜性,我們也最終成功地解決了這個問題。
為各種網絡安全威脅構建人工智能所面臨的挑戰
網絡安全面臨的一個挑戰是能夠提出足夠通用的人工智能,能夠有效應對當前和未來的不同類型的威脅。我們在網絡安全方面面臨的另一個巨大挑戰是可解釋性(explainability)。
網絡安全專家就像醫生一樣。他們最了解情況。他們不需要任何人工智能來幫助他們分類惡意軟件,對吧?
在人工智能研究人員和網絡安全專家之間建立理解是一項重要的工作,這就是為什么需要建立大量的可解釋性,向惡意軟件分析師解釋人工智能的能力,以便它被接受。我們正在構建一個令人興奮的新型工具,用于網絡安全的可解釋性,以加速人工智能在網絡安全領域的部署。
人工智能可解釋性在網絡安全中的重要性
Michael Krigsman:這里的主要挑戰在于為您的模型積累足夠的數據,還是在于構建更廣泛的通用算法,在這些模型上有效地運行?
Michal Pechoucek:可能是通用性。我們可以在互聯網上獲得很棒的數據,所以我們看到了很多共性。該檢測器經過微調,能夠檢測不同類型的惡意軟件活動。這是一個挑戰。
就像在人工智能的其他應用中一樣,人們一直在推動構建一種能夠做更多事情的算法,比如在玩游戲時,設計師設計了可以同時玩圍棋和將軍的算法。這就是游戲玩法的通用性。
在為網絡安全構建人工智能能力時,也需要類似的通用性。今天,網絡安全是不同的,因為它不是操作系統的漏洞,而是人們認知的漏洞,所以攻擊是不同的。
攻擊者正在編寫不同的東西。他們不是在寫JSON文件,不是在編譯匯編程序代碼,而是在用自然語言編寫文本,這些文本被認為是欺騙性的、可信的,這樣用戶就愿意點擊鏈接、打開附件,并分享他們的財務數據。
這是一種完全不同類型的戰爭。就這方面而言,人工智能在攻擊方面更成功,也更具影響力,因為為了能夠策劃和部署成功的認知攻擊,你需要三樣東西。
首先,你需要大量關于受害者的數據。你需要收集受害者上網的信息,他們喜歡什么、做了什么、展示了什么以及讀了什么。通過這一點,算法有可能創造出更個性化的交流,以及更個性化的認知攻擊。
你需要做的第二件事是盜取某人的證件。身份盜竊正在提高認知攻擊的有效性。
第三種是高性能的人工智能,它能夠構建可信的文本,一種容易被相信并被采納為合法信息并據此采取行動的文本。當前由大型語言模型覆蓋的高性能AI是認知攻擊爆發的理想工具。
這就是我所擔心的。這就是我每天工作的動力,因為我想為保護免受人工智能支持的認知攻擊做出貢獻。
人工智能支持的認知攻擊、身份盜竊和網絡安全的未來
Michael Krigsman:我一直是有針對性的網絡釣魚攻擊的對象。惡意行為者正在短信和電子郵件中模仿了我認識的人。那么人工智能和您正在開發的工具如何保護我?
Michal Pechoucek:我是一個逆向思維者。我的想法和別人不一樣。
在過去,消費者網絡安全在本質上采用了網絡安全的概念。我,作為一個用戶,我不需要理解。我不需要看。我只要買了這個產品就有保障了。
現在,這種想法已經一去不復返了,成為了歷史。如今,我們生活在不同的時代。我們需要建立有吸引力的網絡安全工具,這些工具將為人們服務,將與人們在一起,并將幫助人們更好地抵御認知攻擊。
假設我安裝了這個東西,結果我永遠不會受到網絡釣魚或騙局的攻擊,這無疑是一個錯誤的假設。作為一名防御者,我們需要改變觀點,并嘗試建立與人們在一起的配套工具,將網絡安全游戲化,在人們閱讀和接收消息時以更透明的方式獎勵他們。
人工智能檢測網絡釣魚攻擊:大型語言模型和分類
當你問我人工智能如何提供幫助時,現在用于創建文本的大型語言模型也可以成功地用于檢測騙局、欺詐、敲詐、惡意的文本。檢測和分類帶有惡意的文本的能力,目前是由大型學習模型和人工智能實現的,我們在Gen中調查和研究了這些模型。
Michael Krigsman:您正在尋找大量網絡釣魚攻擊的模式。顯然,基于您的工作和研究,我認為,您能足夠快地找到它們。
Michal Pechoucek:是的。我們很幸運,因為我們不需要自己做這些工作。這就是人工智能為我們所做的。我們只需要提供高質量的訓練數據,然后讓深度神經網絡學習它的分類。
人們總是問我,“Michal,為什么我不能用ChatGPT為我做這件事,而只能在聊天窗口問問題?”我的回答始終是,網絡安全是一件嚴肅得多的事情。
我們對用戶很有責任感。無論何時我們幫助用戶,我們都需要非常清楚我們要告訴用戶什么。如果我們建議不要點擊,我們只需要確定地告訴用戶這一點。目前建立的大型語言模型是通用的、一般設計的、一般訓練的,只是不能給你確定性。
我們在AI系統管道中的附加價值是雙重的。最后,我們只是想確保聊天機器人,我們查詢的大型語言模型不會給出一些無意義的答案。第二,我們做的是提示,我們用數據來提示語言模型,用少量的特殊樣本數據來幫助大型語言模型進行分類,這與具體情況和用戶接受攻擊的方式非常相關。
AI在網絡安全領域對董事會的重要性
Michael Krigsman:如果人工智能被用于網絡安全,這是否意味著董事會不需要擔心網絡安全?
Michal Pechoucek:這和我對消費者網絡安全威脅的回答非常相似。事實上,我們處在一個普通消費者也需要擔心網絡安全問題的世界中,這同樣適用于董事會成員。你可以買保險,但這并不意味著保險永遠有效。
董事會之間的區別在于,董事會需要切實地對企業負責,所以他們在網絡安全方面的投資預算是不同的數量級。雖然普通消費者每天都在支付他們的賬單,他們的Spotify、Netflix以及他們在互聯網上需要的任何東西,但對他們來說,為網絡安全支付額外費用并不是賬單的重要組成部分。我想說,區別在于投資,但目前沒有人(無論是普通用戶,還是董事會成員)從關注和做出正確決策的責任中解脫出來。
Michael Krigsman:這些都是棘手的問題,我認為,對于董事會成員來說,在某些情況下甚至更加困難,因為他們沒有真正理解這些所必需的技術背景。因此,他們不得不依賴一群技術專家,而沒有你之前描述的透明度和可解釋性。
Michal Pechoucek:是的,沒錯。我想說的是,目前惡意行為者的攻擊類型變化極快。因此,我認為人們對網絡安全專家有很大的期望,希望他們能夠真正跟上這種變化速度。試著去了解新的、危險的威脅,以及人們用來攻擊和保護的新技術。對于那些需要建議的人來說,專家們確實能夠提供很多幫助。
彌合網絡安全專家和董事會之間的缺口
Michael Krigsman:許多技術專家不太愿意與董事會溝通,這就產生了一個問題,例如,因為安全人員想要解釋,但不知道如何用足夠直白的語言來表達,讓董事會能夠理解。這種缺口在某些情況下會導致問題。
Michal Pechoucek:我同意你的觀點。不過,還有另一個問題,就是當前的經濟環境。每個人的預算都很緊張。
我想,在過去,大公司,如果他們不明白,他們會為網絡安全人員要求的額外工具支付額外費用。如今,我認為情況會有所不同。
所有方面都會有預算之爭,包括網絡安全。這為大公司的網絡安全人員和CISO提供了一個增長機會,他們能夠更好地向董事會解釋他們購買的是什么,以及他們為什么需要投資。對每個人來說,時代都在改變。
Michael Krigsman:對我來說,很多公司,甚至是安全公司(像是LastPass)都存在漏洞,在漏洞發生后,他們總是說,“哦,我們會加大投資。”那他們以前為什么不這么做呢?
michael Pechoucek:事實上,互聯網上有一些存儲用戶私人數據的中心是極具價值的,而且惡意行為者也很有興趣對其進行攻擊,我認為這是互聯網的錯誤設計。我們應該不斷減少這樣的地方,越來越多的私人數據應該駐留在用戶的終端。而要想進行大規模的入侵,就必須竊取成千上萬的ID和密碼,這明顯要困難得多。
我真的認為互聯網需要經歷變革,但用戶有更多的機會為自己的私人數據負責,讓那些只需要驗證的人以保護隱私的方式檢查我錢包里放的是什么。我的錢包需要安全、現代、高質量且設計良好的計算,這樣無論誰需要檢查我,都只需要檢查我的錢包,而不需要在數據庫中包含我的個人數據記錄,這對保存我數據的供應商來說是危險的。
個人數據保護:更好的網絡安全衛生技巧
Michael Krigsman:既然您提出了這個話題,您能簡要地給我們一些建議嗎?作為個人,我們能做些什么來保護我們的數據?
Michal Pechoucek:簡單地說,我們需要有良好的網絡安全衛生來使用密碼管理器。不要存儲密碼或通過短信發送密碼。使用好的網絡安全工具。了解你在哪里共享私人數據,出于什么目的,這是否真的有必要。
要求供應商刪除數據,因為在許多國家都有相關立法。如果供應商被要求刪除數據,他們是有責任這樣做的。
更好地認識跟蹤。我們都被跟蹤了。因為沒有追蹤,就沒有互聯網上的個性化體驗,所以我們在一定程度上需要追蹤。但要關注時間和原因。
刪除你的cookies。不要同意每一個讓你心煩的cookies彈窗。
這些都是最基本的建議。但事實是,私人數據的存儲與算法操作密切相關。供應商對我的了解越多,我就能獲得更好的個性化數字體驗。但更好的數字體驗意味著供應商限制了我的選擇。
算法操作和隱私問題;算法操作和隱私
當我搜索一篇有趣的文章時,如果互聯網知道我的一切,它會試圖猜測我想要的是什么,并提供他們認為我需要的內容。所以,這里就涉及了算法操作和隱私問題。
我真的相信人們需要更好的工具和技術來保護自己的隱私,但也需要更好的工具和技術來理解驅動互聯網的推薦算法,它們是如何工作的,它們是如何為我工作的,它們是如何在這種情況下為我工作的,又是如何在另一種情況下為我工作的。
我需要弄清楚當YouTube提供給我這些貼圖時,它們為什么會出現在那里?我做了什么才會出現這些貼圖?我看了什么?我沒看什么?我發的是什么?為什么推薦行為是這樣的?我們不知道,因為缺乏透明度。而這一切我們都應該知道。
我們接受來自互聯網的建議,這是因為這個偉大的技術站在另一邊,它們站在供應商和互聯網公司一邊。用戶所擁有的技術數量在他們的錢包里,在他們的瀏覽器里,而存在于他們思想里的實際上是非常有限的。
30年前,出現了第一批惡意行為者和攻擊者。因此,一個龐大的網絡安全產業成為現實。
自此,這個行業開始保護用戶,用戶也由此獲得了安全。我相信在隱私和算法操作領域一定會發生類似的事情,當涉及到算法操作、錯誤信息和隱私處理時,人們會獲得更多的保護。
網絡防御和滲透測試中的AI和ML工具
Michael Krigsman:AI和ML工具聽起來很適合網絡防御。在滲透測試和紅隊工具方面是否有類似的研究,或者更好的陷阱和蜜罐來吸引威脅分子?
Michal Pechoucek:在我的威脅實驗室,我們已經做了研究,我們能夠證明使用大型語言模型來生成惡意軟件是可能的。惡意行為者已經可以通過ChatGPT生成惡意軟件。
事實是,這真的有必要嗎?如果我回顧一下惡意軟件公司是如何創建的,編寫一個惡意軟件只是一個很小的組成部分。在過去的15年里,惡意軟件社區中已經出現了自動編寫惡意軟件的腳本算法。
chatgpt生成的惡意軟件對惡意行為者的影響有多大?說實話,我不這么認為。我認為附加價值是有限的。然而,當我們談論以認知攻擊的形式,以騙局和網絡釣魚操作的形式進行的攻擊時,情況就完全不同了。在這種情況下,大型語言模型和現代人工智能的作用和附加值是巨大的。
網絡攻擊中的A/B測試
他們創造可信、獨特內容的速度是驚人的。而且不僅要測試內容的質量還要測試能力,要A/B測試認知攻擊的有效性。
目前,有攻擊者正在編寫網絡釣魚電子郵件。他們從互聯網上收集一些數據,以了解他們的效果如何。他們需要學習。他們調整策略。他們會嘗試其他方法。通過類似于強化學習的方法,以及基于大型語言模型的文本生成,這個循環可以自動化。
這是我所擔心的。如果惡意行為者開始真正自動生成獨特的、危險的內容,同時能夠自動學習它的有效性,并適應文本生成,對我來說這是非常危險的。這是我們作為防御者需要多加注意的地方。
Michael Krigsman:您剛才描述的A/B測試非常有趣,我強烈懷疑曾在攻擊中經歷過A/B測試。
Michal Pechoucek:如今,A/B測試已經實現了自動化。如果我們的電子郵件中有跟蹤器,或是瀏覽器中有跟蹤器,都將幫助攻擊者報告并了解它的有效性,自動化是大勢所趨。
關于數據收集的人工智能建議
Michael Krigsman:人工智能是否可以建議不要收集某些類型(例如易受攻擊)的數據?
Michal Pechoucek:這對我的團隊來說是一個巨大的挑戰。我們試圖了解人工智能在多大程度上可以幫助人們做出正確的隱私決策。
我們建立了一個高質量的人工智能,幫助用戶評估和解釋使用這個或其他應用程序或在這個或其他網頁上對隱私的影響。我們建立了分類器和檢測器,幫助用戶提供一些相關信息。
事實上,目前用戶還沒有準備好使用這些信息,這樣他們就會影響自己的隱私行為。我們看到,用戶在很大程度上采取了二元決策(binary decision)。“我真的不在乎”,或“我只是認為我們不需要”,或“我不在乎。我用谷歌搜索,”或者“我關心,我用DuckDuckGo。”
實際上沒有介于兩者之間的東西。我認為技術專家和技術公司需要建立工具,允許用戶以一種非常精細的方式建立他們的隱私方法,基于他們所做的事情,基于他們所搜索的內容,基于他們的物理位置。讓用戶對偏好進行微調,然后能夠與用戶在一起,根據過去的行為模型適應隱私偏好。
實際上,我認為這是用戶需求的缺失部分。這是一個優化問題,一方面要獲得最好的個性化互聯網體驗,另一方面還要保護你的隱私,因為這些都是聯合變量。
人工智能和網絡安全研究面臨的挑戰
Michael Krigsman:您能向我們描述一下您目前在工作和研究中面臨的一些最重大的挑戰嗎,尤其是技術方面的挑戰?
Michal Pechoucek:一個真正吸引人的研究挑戰是網絡安全領域的可解釋性。在過去的十年里,許多人工智能科學家一直在可解釋性領域工作,試圖對人工智能決策提供一些好的解釋。
在網絡安全領域,這很吸引人,因為如果你深入研究威脅研究人員和威脅分析人員的思想,就會發現他們擁有深厚的知識、卓越的智慧、出色的推理和直覺。直覺是很難優化的部分。
人工智能科學家和國家專家只是想做統計。他們想要優化。給我優化函數,然后我訓練一個分類器。這就是AIP的工作原理。
能夠將這種統計方法與網絡安全領域的直覺結合起來,這是非常迷人的。實際上我認為它是可轉移的。它可以轉移到其他領域。
我想說醫生是非常相似的。我認為,當人工智能將接管醫療保健領域時,他們將需要能夠解決類似的挑戰,以這樣一種方式解釋人工智能的挑戰,即我們正在獲得的專業人員不會被人工智能取代,但他們的影響將通過適當使用高性能人工智能而成倍增加。
我很幸運能在這個領域工作,因為我有第一手的技術經驗。這無疑是挑戰之一。
其次,我很高興能在這個大型語言模型爆發的時代,在我一生中第一次看到人工智能成為真正的消費者主張。到目前為止,人工智能實際上是B2B的一個命題。企業、公司都在使用高質量的人工智能向用戶交付產品。但這是用戶第一次接觸人工智能。
我想說,對我和我的團隊來說,最大的挑戰之一就是理解這種新的人工智能是如何威脅人類的。這個新時代的人工智能有哪些危險和道德限制,會對我們的用戶產生影響?思考這些危險,并嘗試建立一種技術,保護用戶免受當前而是未來的人工智能危險,這是非常值得的。
Michael Krigsman:現在有很多人工智能驅動的網絡安全工具。您認為這些工具的成熟程度如何?就采用而言,組織的信心水平如何,特別是在ChatGPT流行之后?
Michal Pechoucek:這又涉及我前面提到的可解釋性。人們相信這些工具,因為它們已經被很好地解釋了,用戶也信任這些工具。還有一些新工具不斷涌現,它們很難證明自己的價值。
我是個樂觀主義者。網絡安全專家正在使用許多很棒的人工智能工具。能夠檢測哪些對用例有效,哪些無效,這不是一件簡單的事情。
給CISO和CIO的建議
Michael Krigsman:您對企業CISO有什么建議?
Michal Pechoucek:不要為了追趕而追趕,而是要為未來著想。我知道CISO經常忙于解決危機和滅火。這基本上是他們的工作。
試著拿出至少50%的時間來思考未來,想想一旦技術變得更發達、更強大,可能會發生什么。作為網絡安全專家,不要被當前的情況所困,而是讓我們花時間關注未來,因為這是恢復能力的唯一途徑。
Michael Krigsman:您對CIO有什么建議嗎?
Michal Pechoucek:CIO需要與CISO和CTO很好地合作,并在組織中努力利用網絡安全專家和技術專家來推動未來的決策。同樣需要注意的是,對安全的投資將受到嚴格審查,不幸的是,與此同時,我們將看到對IT和云支出的投資在2023年受到嚴格審查。
人工智能在網絡安全中的未來:認知攻擊和錯誤信息
Michael Krigsman:您正在研究網絡安全和人工智能方面的某些問題和挑戰。您認為您的工作在未來幾年會變成什么樣子?
Michal Pechoucek:未來的重點將在于我如何看待騙局和網絡釣魚的演變,互聯網上的認知攻擊是從短期的認知攻擊到長期的、持續的認知攻擊。從操縱到散播虛假信息。
其實我認為,在未來,就像現在的網絡安全正在從攻擊人的設備轉變為攻擊人的認知,我認為未來的網絡安全將會從直接的認知攻擊,一鍵攻擊,轉變為操縱攻擊。我認為這種騙局、網絡釣魚攻擊、虛假信息和操縱的結合將是未來幾年人工智能網絡安全的一個大話題。
Michael Krigsman:您的意思是,這種轉變表現為從技術攻擊中的人工智能(例如,攻擊防火墻)到認知攻擊(如網絡釣魚),再到更廣泛的長期攻擊(如錯誤信息、虛假信息和更廣泛的心理操縱)。
Michal Pechoucek:是的,沒錯。這就是我認為人工智能網絡安全專家的工作變得更艱巨也更令人興奮的地方,與過去的網絡安全專家相比,它需要更廣泛的知識。
Michael Krigsman:這很吸引人,因為從本質上講,您所說的是錯誤信息和虛假信息領域,現在我們大多認為是社交媒體問題,但它實際上是一個網絡安全問題。
Michal Pechoucek:是的。這是一個網絡安全問題。在未來的網絡安全世界中,最有效的武器是讓人們更有彈性。幫助人們保持健康,保持精神健康,保持好奇,對檢查消息來源感到興奮,并對未來的攻擊保持彈性,這就是為什么期望技術公司建立一個操縱防火墻,我把它放在我的瀏覽器中,就可以不顯示任何虛假新聞,是錯誤且不切實際的方法。
首先,這是不可能的。其次,它降低了我的心理素質。它必須在那里。盡管如此,我還是想要獨立,自主,讓我的生活在掌控之中。這也屬于我能夠區分我相信哪些新聞,不相信哪些新聞的能力。我不希望這個權利被剝奪。
Michael Krigsman:這似乎是一個特別困難的挑戰,因為現在您所要做的是集成研究人員的“孤島”,因為現在你有網絡安全研究人員和媒體研究人員……他們是不同的人群。
Michal Pechoucek:是的。但他們很快就會找到一個共同的目標,那就是讓互聯網對每個人來說都能成為一個更安全的地方。
關于企業網D1net(hfnxjk.com):
國內主流的to B IT門戶,同時在運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。同時運營19個IT行業公眾號(微信搜索D1net即可關注)
版權聲明:本文為企業網D1Net編譯,轉載需在文章開頭注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。