1)提示和數(shù)據(jù)泄露
在LLM中，數(shù)據(jù)泄露的可能性是一個真實且日益令人擔憂的問題，LLM可能會被“騙”泄露敏感的公司或用戶信息，導致一系列隱私和安全問題，迅速泄密是另一個大問題，如果惡意用戶訪問系統(tǒng)提示符，公司的知識產(chǎn)權(quán)可能會受到損害。
這兩個漏洞都與快速注入有關(guān)，這是一種日益流行和危險的黑客技術(shù)。直接和間接的快速注射攻擊正在變得普遍，并伴隨著嚴重的后果。成功的提示注入攻擊可能導致跨插件請求偽造、跨站點腳本編寫和培訓數(shù)據(jù)提取，其中每一項都會將公司機密、個人用戶數(shù)據(jù)和基本培訓數(shù)據(jù)置于風險之中。
因此，公司需要在AI應用程序開發(fā)生命周期中實施檢查系統(tǒng)。從尋找和處理數(shù)據(jù)到選擇和培訓應用程序，每一步都應該有限制，以降低入侵風險。沙箱、白名單和API網(wǎng)關(guān)等常規(guī)安全實踐在處理LLM時同樣有價值(如果不是更高的話)。除此之外，在將所有插件與LLM應用程序集成之前，團隊應該仔細檢查所有插件，并且對于所有高權(quán)限任務，人工批準應該仍然是必不可少的。
2)折衷的模型性能
AI模型的有效性取決于數(shù)據(jù)質(zhì)量，但在整個模型開發(fā)過程中——從預訓練到微調(diào)和嵌入——訓練數(shù)據(jù)集很容易受到黑客的攻擊。
大多數(shù)公司利用第三方模式，由不知名的人管理數(shù)據(jù)，網(wǎng)絡團隊不能盲目相信數(shù)據(jù)沒有被篡改。無論你是使用第三方模式還是自己擁有的模式，總會有不良行為者的“數(shù)據(jù)中毒”風險，這可能會對模式的表現(xiàn)產(chǎn)生重大影響，進而損害品牌的聲譽。
開源的AutoPoison框架清楚地概述了數(shù)據(jù)中毒如何在指令調(diào)優(yōu)過程中影響模型。此外，以下是網(wǎng)絡團隊可以實施的一系列戰(zhàn)略，以降低風險并最大限度地提高AI模型的性能。
·供應鏈審查：仔細審查供應鏈，以驗證數(shù)據(jù)來源是否干凈，并采取嚴密的安全措施。問一些問題，比如“數(shù)據(jù)是如何收集的？”以及“是否考慮到了適當?shù)耐夂偷赖驴剂浚?rdquo;你還可以查詢誰為數(shù)據(jù)添加了標簽和注釋，他們的資格，以及標簽中是否存在任何偏見或不一致。此外，解決數(shù)據(jù)所有權(quán)和許可問題，包括誰擁有數(shù)據(jù)以及許可條款和條件是什么。
·數(shù)據(jù)清理和清理：確保在進入模型之前檢查所有數(shù)據(jù)和來源。例如，在將PII放入模型之前，必須對其進行編輯。
·紅色團隊演習：在模型生命周期的測試階段進行以LLM為重點的紅色團隊演習。具體地說，對涉及操縱訓練數(shù)據(jù)以注入惡意代碼、偏見或有害內(nèi)容的測試場景進行優(yōu)先排序，并采用多種攻擊方法，包括對抗性輸入、中毒攻擊和模型提取技術(shù)。
3)受損的互聯(lián)系統(tǒng)
像GPT-4這樣的高級型號通常集成到系統(tǒng)中，在系統(tǒng)中它們與其他應用程序進行通信，但只要涉及到API，下游系統(tǒng)就會面臨風險，這意味著一個惡意提示可能會對互聯(lián)系統(tǒng)產(chǎn)生多米諾骨牌效應。要降低此風險，請考慮以下幾點：
·如果允許LLM調(diào)用外部API，請在執(zhí)行可能具有破壞性的操作之前請求用戶確認。
·在互連不同的系統(tǒng)之前檢查LLM輸出。檢查它們是否存在可能導致遠程代碼執(zhí)行(RCE)等風險的潛在漏洞。
·特別注意這些產(chǎn)出促進不同計算機系統(tǒng)之間互動的情況。
·對互聯(lián)系統(tǒng)中涉及的所有API實施強有力的安全措施。
·使用強大的身份驗證和授權(quán)協(xié)議，防止未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露。
·監(jiān)控API活動中的異常和可疑行為跡象，例如異常請求模式或利用漏洞的嘗試。
4)網(wǎng)絡帶寬飽和
網(wǎng)絡帶寬飽和漏洞可被攻擊者作為拒絕服務(DoS)攻擊的一部分加以利用，并可能對LLM的使用成本造成痛苦的影響。
在模型拒絕服務攻擊中，攻擊者以過度消耗帶寬或系統(tǒng)處理能力等資源的方式與模型接觸，最終損害目標系統(tǒng)的可用性。反過來，公司可能會面臨服務質(zhì)量下降和天價賬單。由于DoS攻擊在網(wǎng)絡安全環(huán)境中并不新鮮，因此可以使用幾種策略來防御模型拒絕服務攻擊，并降低成本快速上升的風險。
·速率限制：實施速率限制，防止你的系統(tǒng)被過多的請求淹沒。為你的應用程序確定正確的速率限制將取決于模型的大小和復雜性、硬件和基礎(chǔ)設(shè)施以及平均請求數(shù)和高峰使用時間。
·字符限制：設(shè)置用戶在查詢中可以包含的字符數(shù)量限制，以保護你的基于LLM的API免受資源耗盡的影響。
·框架提供的方法：利用框架提供商提供的方法加強對攻擊的防御。例如，如果你使用的是LangChain，請考慮使用max_iterations參數(shù)。
保護LLM需要多方面的方法，包括仔細考慮數(shù)據(jù)處理、模型培訓、系統(tǒng)集成和資源使用，但通過實施建議的戰(zhàn)略并保持警惕，公司可以利用低成本管理的力量，同時將相關(guān)風險降至最低。
企業(yè)網(wǎng)D1net(hfnxjk.com)：
國內(nèi)主流的to B IT門戶，同時在運營國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_-信眾智(www.cioall.com)。同時運營19個IT行業(yè)公眾號(微信搜索D1net即可關(guān)注)。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需在文章開頭注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責任的權(quán)利。
京公網(wǎng)安備 11010502049343號