員工通過GenAI泄露數(shù)據(jù)正成為企業(yè)的噩夢(mèng)。
根據(jù)Harmonic最近發(fā)布的關(guān)于GenAI數(shù)據(jù)泄露的報(bào)告，8.5%的員工向熱門大型語言模型(LLM)發(fā)送的提示中包含敏感數(shù)據(jù)，這引發(fā)了安全、合規(guī)、隱私和法律方面的擔(dān)憂。
Harmonic在2024年第四季度分析了數(shù)萬個(gè)向ChatGPT、Copilot、Gemini、Claude和Perplexity發(fā)送的提示，發(fā)現(xiàn)客戶數(shù)據(jù)(包括賬單信息和認(rèn)證數(shù)據(jù))占泄露數(shù)據(jù)的最大比例，為46%。Harmonic特別指出，保險(xiǎn)索賠是一種充滿客戶數(shù)據(jù)的報(bào)告類型，員工經(jīng)常將其輸入GenAI工具中以節(jié)省處理時(shí)間。
員工數(shù)據(jù)(包括薪資數(shù)據(jù)和個(gè)人身份信息PII)占敏感提示的27%，其次是法律和財(cái)務(wù)數(shù)據(jù)，占15%。
“與安全相關(guān)的信息占敏感提示的6.88%，尤其令人擔(dān)憂，”報(bào)告稱。“例如，滲透測(cè)試結(jié)果、網(wǎng)絡(luò)配置和事件報(bào)告。這些數(shù)據(jù)可能為攻擊者提供利用漏洞的藍(lán)圖。”
走出陰影
GenAI數(shù)據(jù)泄露是一個(gè)棘手的問題，也是企業(yè)GenAI戰(zhàn)略讓CISO陷入困境的主要原因之一。
企業(yè)LLM的使用大致分為三類：授權(quán)部署，包括許可和內(nèi)部開發(fā)的實(shí)施，影子AI，通常包括企業(yè)出于合理原因禁止使用的免費(fèi)消費(fèi)級(jí)應(yīng)用，以及半影子GenAI。
未授權(quán)的影子AI是CISO面臨的主要問題，但最后一類問題日益嚴(yán)重，可能是最難控制的。半影子AI由業(yè)務(wù)部門負(fù)責(zé)人發(fā)起，可能包括未經(jīng)IT批準(zhǔn)的付費(fèi)GenAI應(yīng)用，用于實(shí)驗(yàn)、提高效率或增強(qiáng)生產(chǎn)力。在這種情況下，高管可能在進(jìn)行影子IT活動(dòng)，而一線業(yè)務(wù)員工則沒有，因?yàn)樗麄儽桓嬷褂眠@些工具作為企業(yè)AI戰(zhàn)略的一部分。
無論是影子AI還是半影子AI，免費(fèi)GenAI應(yīng)用都是最成問題的，因?yàn)樗鼈兊脑S可條款通常允許對(duì)每個(gè)查詢進(jìn)行訓(xùn)練。根據(jù)Harmonic的研究，免費(fèi)層級(jí)AI的使用占敏感數(shù)據(jù)泄露的最大比例。例如，54%的敏感提示是在ChatGPT的免費(fèi)層級(jí)上輸入的。
但大多數(shù)數(shù)據(jù)專家也勸阻CISO不要相信付費(fèi)GenAI應(yīng)用的合同承諾，其中大多數(shù)禁止在企業(yè)版本中對(duì)用戶查詢進(jìn)行訓(xùn)練。
Carstens, Allen & Gourley知識(shí)產(chǎn)權(quán)律師事務(wù)所的律師Robert Taylor以商業(yè)秘密為例。他說，如果員工向GenAI系統(tǒng)提出一個(gè)問題，該問題揭示了商業(yè)秘密，那么各種法律保護(hù)(尤其是商業(yè)秘密保護(hù))可能會(huì)喪失。他還補(bǔ)充說，保護(hù)知識(shí)產(chǎn)權(quán)的律師經(jīng)常讓團(tuán)隊(duì)成員向各種AI應(yīng)用詢問關(guān)于商業(yè)秘密的問題，以查看是否發(fā)現(xiàn)了禁止的數(shù)據(jù)。如果是這樣，那么他們就知道有人泄露了信息。
如果競(jìng)爭對(duì)手得知了泄露事件，它可以在法庭上辯稱泄露事件使商業(yè)秘密的法律保護(hù)失效。據(jù)Taylor稱，IP所有者的律師必須證明企業(yè)部署了一系列機(jī)制來保護(hù)秘密。依賴合同中禁止對(duì)GenAI查詢進(jìn)行訓(xùn)練的條款“并不是足夠合理的努力水平”，Taylor說。
“這將是一個(gè)綜合考慮各種情況的情況，”他說。企業(yè)必須部署并嚴(yán)格執(zhí)行“限制員工使用數(shù)據(jù)的政策”。
數(shù)據(jù)意識(shí)實(shí)踐
Forrester的副總裁兼首席分析師Jeff Pollard表示，CISO應(yīng)與業(yè)務(wù)領(lǐng)導(dǎo)者合作，確保員工接受培訓(xùn)，以了解如何從LLM中獲得相同結(jié)果而無需使用受保護(hù)的數(shù)據(jù)。這樣做需要對(duì)提示進(jìn)行更精細(xì)的處理，但可以保護(hù)敏感信息而不削弱AI生成答案的有效性。
“你真的不需要透露敏感信息就能從系統(tǒng)中獲得正面收益，但我們必須培訓(xùn)用戶了解查詢措辭”策略，Pollard說。
當(dāng)談到員工使用免費(fèi)AI工具而不是受限制的企業(yè)付費(fèi)應(yīng)用時(shí)，“打擊員工是最明顯的事情，但核心問題是：‘為什么員工要這么做?’”Gartner的杰出副總裁兼分析師Arun Chandrasekaran問道。
“員工之所以這么做，是因?yàn)镮T沒有為他們提供所需的工具。”他辯稱。
Chandrasekaran表示，CISO應(yīng)向他們的C級(jí)高管指出這一點(diǎn)，以幫助執(zhí)行企業(yè)范圍內(nèi)的AI工具應(yīng)“真正可用”的原則。
不幸的是，據(jù)軟件供應(yīng)商Unily的高級(jí)社區(qū)和合作伙伴營銷經(jīng)理Kaz Hassan稱，對(duì)于GenAI來說，木已成舟。
“員工對(duì)AI的使用已經(jīng)超出了IT團(tuán)隊(duì)追趕的能力，”他說。“IT團(tuán)隊(duì)知道情況不妙，但無法破解溝通、文化或戰(zhàn)略方面的難題以產(chǎn)生影響。”
Hassan補(bǔ)充說：“需要一個(gè)新的藍(lán)圖，組織現(xiàn)在需要明確的AI戰(zhàn)略來降低風(fēng)險(xiǎn)，并且需要立即將AI融入員工的技術(shù)堆棧中。”
他聲稱，典型的監(jiān)控和控制應(yīng)用未能抓住數(shù)據(jù)泄露的要點(diǎn)。
“高級(jí)用戶通過未授權(quán)的AI工具處理敏感數(shù)據(jù)，不是因?yàn)樗麄儫o法被控制，而是因?yàn)樗麄儾粫?huì)被放慢速度。舊的限制和保護(hù)策略不僅失敗了——它還在積極推動(dòng)AI創(chuàng)新走向陰影，”Hassan說。“CISO需要面對(duì)這個(gè)現(xiàn)實(shí)：要么領(lǐng)導(dǎo)AI轉(zhuǎn)型，要么眼睜睜看著自己的安全邊界瓦解。”
Hassan指出，GenAI帶來的數(shù)據(jù)問題有兩個(gè)方向：敏感數(shù)據(jù)通過查詢泄露出去，以及有缺陷的數(shù)據(jù)(無論是通過幻覺還是基于錯(cuò)誤信息的訓(xùn)練)通過GenAI答案進(jìn)入企業(yè)，而你的團(tuán)隊(duì)依賴這些答案進(jìn)行企業(yè)分析。
“當(dāng)今的CISO不應(yīng)只擔(dān)心敏感數(shù)據(jù)泄露出去，”Hassan說。“他們還應(yīng)該擔(dān)心壞數(shù)據(jù)進(jìn)來。”
企業(yè)網(wǎng)D1net(hfnxjk.com)：
國內(nèi)主流的to B IT門戶，旗下運(yùn)營國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。旗下運(yùn)營19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需在文章開頭注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號(hào)