麥肯錫的研究估計，GenAI有可能為全球經濟增加高達4.4萬億美元的經濟價值，同時將所有AI的影響提高15%至40%。許多企業(yè)領導人決心抓住這一價值，同時越來越多的人認識到，GenAI機會伴隨著重大風險。麥肯錫最近對100多家年收入超過5000萬美元的企業(yè)進行了一項快速調查，發(fā)現63%的受訪者將實施GenAI的工作描述為“高”或“非常高”的優(yōu)先事項，然而，91%的受訪者覺得自己還沒有做好負責任地這樣做的準備。

 

這種不安是可以理解的，與GenAI相關的風險包括基礎培訓數據中嵌入的不準確的輸出和偏見，以及可能出現的大規(guī)模錯誤信息和對政治和個人福祉的惡意影響，關于總體上發(fā)展AI的可能性和可取性，也存在著更廣泛的辯論，這些問題可能會破壞GenAI的明智部署，可能導致企業(yè)暫停實驗，直到更好地了解風險-甚至因為擔心無法管理這些問題的新穎性和復雜性而剝奪了這項技術。

 

然而，通過采用經過驗證的風險管理方法來適應GenAI，有可能以負責任的方式和良好的步伐來獲取技術的價值，這樣做還將使企業(yè)能夠在圍繞AI的監(jiān)管環(huán)境繼續(xù)演變的同時有效運營，例如拜登總統(tǒng)關于代AI開發(fā)和使用的行政命令以及歐盟AI法案。此外，大多數企業(yè)可能會看到使用GenAI增加了“入站”威脅(無論企業(yè)是否部署GenAI，都有可能影響他們的風險)，特別是在欺詐和網絡領域(早期跡象表明，GenAI將能夠通過標準的反欺詐生物識別檢查)。建立適合用途的風險管理將有助于防范這些威脅。

 

在實踐中，希望應對AI風險的企業(yè)應該采取以下四個步驟：

 

1.發(fā)起沖刺，了解與GenAI相關的入站暴露風險。

2.制定跨域和用例的GenAI相關風險重要性的綜合視圖，并構建一系列選項(包括技術和非技術措施)來管理風險。

3.建立一種治理結構，在專業(yè)知識和監(jiān)督與支持快速決策的能力之間取得平衡，并盡可能調整現有結構。

4.將治理結構嵌入業(yè)務模式，利用整個企業(yè)的專門知識，并包括對最終用戶的適當培訓。

 

如何實現這些步驟的細節(jié)以及使其有效所需的更改程度將隨企業(yè)的GenAI愿望和性質而有所不同，例如，它可能希望成為基礎模型的制造者，定制和縮放基礎模型的成型者，或者通過很少或根本沒有定制的現成應用程序(例如，標準的辦公生產力軟件)采用基礎模型的接受者。

 

本文為開發(fā)負責任地實現GenAI的方法提供了藍圖，遵循這些步驟可以幫助企業(yè)快速擴展技術并獲取其優(yōu)勢，同時最大限度地減少潛在的負面影響。

 

 

根據我們的經驗，包括通過構建麥肯錫自己的GenAI應用程序，與GenAI相關的風險可以分為八個主要類別，這些類別既考慮入站風險，也考慮采用GenAI工具和應用程序直接產生的風險。每個企業(yè)都應該開發(fā)這個核心分類的某個版本，以支持對實施GenAI所產生的風險的理解和溝通。

 

決定如何應對外來風險是許多高管團隊和董事會關注的焦點，這一決定應該作為企業(yè)如何與其員工和利益相關者溝通有關GenAI的基礎，它還應該告知使用案例的方法。

 

我們看到采用GenAI的四個主要入站風險來源：

 

·安全威脅，來自啟用AI的惡意軟件的攻擊數量和復雜性增加。

·第三方風險，原因是在了解第三方可能在哪里以及如何部署AI方面存在挑戰(zhàn)，造成潛在的未知風險。

·惡意使用，原因是不良行為者可能制造令人信服的企業(yè)代表深度假冒或品牌假冒，從而導致重大聲譽損害。

·知識產權侵權，原因是知識產權(如圖像、音樂和文本)被收集到底層大型語言模型的訓練引擎中，并使任何使用該技術的人都可以訪問。

 

大多數企業(yè)將受益于調查GenAI如何改變其外部環(huán)境的重點沖刺，主要目標有兩個，首先是了解潛在的入站風險敞口，這些風險存在于企業(yè)的風險概況中(例如，有多少第三方可以訪問需要限制培訓外部GenAI模型的敏感或機密數據)，第二個目標是了解控制環(huán)境的成熟度和準備情況，即企業(yè)具備的預防、檢測和最終應對入站風險的技術和非技術能力，這些措施包括網絡和欺詐防御、第三方調查以確定關鍵第三方可能在哪里部署GenAI，以及限制用于訓練大型語言模型的引擎對企業(yè)知識產權的掠奪的能力。

 

這些努力的結果應該是了解該企業(yè)在哪里面臨最大的潛在入境風險，以及其當前防御系統(tǒng)的成熟度和準備情況，進行了這項工作后，企業(yè)應該有一個明確的路線圖，說明在哪里加強防御，以及這些努力在潛在風險緩解方面的潛在ROI是什么。

 

鑒于作為GenAI及其應用程序基礎的技術的演變性質，企業(yè)將需要重復努力，以確定他們的暴露具有一定的規(guī)律性，對于大多數企業(yè)來說，至少每半年更新一次這項工作將是重要的，直到變化的速度放緩，控制環(huán)境和防御措施成熟為止。

 

 

有雄心部署GenAI的企業(yè)將需要進行額外的、持續(xù)的努力，以了解和管理采用該技術的風險，這可能需要投入時間和資源，并轉變工作方式，然而，如果企業(yè)要從GenAI中獲得長期、可持續(xù)和變革性的好處，這是至關重要的。失誤和失敗可能會侵蝕高管、員工和客戶的信心，并引發(fā)縮減對超安全用例的雄心，這些用例產生的風險有限，但也不太可能充分利用該技術的真正潛力。

 

希望部署GenAI高潛力使用案例以推動生產力和創(chuàng)新、提供更好、更一致的客戶服務以及提高營銷和銷售創(chuàng)造力的企業(yè)必須應對負責任實施的挑戰(zhàn)，這些用例具有不同的風險配置文件，既反映了技術本身的性質，也反映了與用例細節(jié)相關的企業(yè)特定環(huán)境(例如，將GenAI聊天機器人部署到易受攻擊的人群中的風險配置文件與部署B(yǎng)2B的風險配置文件非常不同)。

 

 

企業(yè)部署GenAI用例的基本出發(fā)點是跨關鍵風險類別映射與每個案例相關聯的潛在風險，以評估潛在風險嚴重性，例如，支持客戶旅行的用例，如用于客戶服務的支持GenAI的聊天機器人，可能會增加風險，如偏見和跨群體不公平待遇(例如，按性別和種族)、用戶輸入敏感信息引起的隱私問題，以及模型幻覺或過時信息的不準確風險。

 

在進行此分析時，重要的是制定一個標準，以校準對不同類別的高風險與中風險的預期，否則，企業(yè)可能會遇到分歧，這更多是由個人對風險水平的舒適度驅動的，而不是客觀因素，以數據隱私為例，我們通常會看到風險較高的示例需要個人或敏感信息來準確培訓模型(或者用戶在與技術交互時輸入個人信息的可能性更高)，風險較低的用例不會表現出這兩個特征，使用這一邏輯，開發(fā)一個支持顧問提供量身定制的財務建議的應用程序，往往會比自動化基本合同模板的應用程序在隱私風險暴露方面排名更高。

 

負責用例的執(zhí)行人員必須領導與之相關的風險的初步評估(作為有效運營模型中產品經理角色的一部分)，這有助于培養(yǎng)對潛在風險的適當認識，并在用例被批準進行最終開發(fā)時負責管理這些風險，此外，包括業(yè)務負責人以及法律和合規(guī)性職能部門成員在內的跨職能小組應該審查和驗證所有用例的風險評估，并在做出有關用例優(yōu)先級的決策時將結果用作輸入。

 

 

一旦企業(yè)繪制了與GenAI相關的風險圖，它必須制定戰(zhàn)略，通過緩解和穩(wěn)健治理的組合來管理風險暴露，許多(但不是所有)緩解措施本質上是技術性的，可以在流程的整個生命周期中實現，重要的是，這些控制不需要全部嵌入到基礎基礎模型本身中(許多企業(yè)將無法訪問)，有些可以是在當地環(huán)境中構建的覆蓋層，比如由人力資源部門設計的支持GenAI的聊天機器人，用于回答員工關于福利的詢問。

 

在該用例中，在查詢的整個生命周期中，一旦用戶提出問題，可能會出現許多可能的緩解措施，它們包括讓聊天機器人提出澄清問題以生成額外的必要用戶輸入，讓用戶確認聊天機器人已經正確地理解了查詢，限制聊天機器人可以訪問的數據集的類型(例如，排除個人信息)，以及設計聊天機器人提供引用以解釋其答案并允許對其答復進行事實核查。實施此用例的企業(yè)可以采取措施(如限制重復交互)來阻止已知會給聊天機器人帶來挑戰(zhàn)的攻擊載體和越獄，他們還可以開發(fā)分類器來識別和拒絕超出范圍的查詢(例如請求計算)。

 

在開發(fā)用例時，企業(yè)應該考慮其他一些重要類別的非技術性緩解措施。在GenAI成熟的這個階段，大多數企業(yè)都在保持人類的參與，以防止技術直接投入生產或直接與最終客戶接觸。如前所述，防止有問題地使用來自第三方的數據的合同條款很重要。企業(yè)應該開發(fā)編碼標準和庫，以獲取適當的元數據和方法標準來支持審查。

 

GenAI的許多初始緩解策略跨越多個用例，使企業(yè)能夠從其技術緩解中獲得規(guī)模效益，而不必為每個案例創(chuàng)建定制的方法，例如，在HR聊天機器人的示例中，將源作為查詢答案的一部分的能力也可以應用于員工試圖向客戶解釋產品或對同行企業(yè)進行分析的用例中。在這兩種情況下，這都將在一定程度上解決“可解釋性”和對產出的整體信心方面的挑戰(zhàn)。

 

 

使用GenAI將對大多數企業(yè)提出新的要求，以調整治理結構以響應審批和監(jiān)督的需求，然而，大多數企業(yè)應該能夠通過擴大任務或覆蓋范圍來適應他們今天擁有的東西，這將限制建立一個全新的委員會和審批機構方陣的潛在破壞，這些方陣可能會增加決策的摩擦和對問責的困惑。

 

GenAI可能需要企業(yè)對治理的三個核心要素進行更改：

 

·一個跨職能、負責任的GenAI指導小組，至少每月一次，該小組應包括業(yè)務和技術領導者，以及數據、隱私、法律和合規(guī)成員，它應該有權就管理GenAI風險做出關鍵決策，包括對風險暴露的評估，以及針對入站風險和基于采用的風險的緩解戰(zhàn)略，它應該審查基礎戰(zhàn)略決策，例如基礎模型的選擇以及與企業(yè)的風險狀況的兼容性，這個指導小組理想情況下由一名個人負責協(xié)調和議程設置。在具有既定監(jiān)管預期和長期模型和算法風險管理歷史的行業(yè)(如金融服務)，此人通常已在員工中(并且可能是模型風險主管)。對于面臨監(jiān)管期望突然增加的企業(yè)來說，他們可能需要聘請一名AI治理官員或類似的角色來履行這些責任。

 

·負責任的AI指導方針和政策。企業(yè)應該制定一套由執(zhí)行團隊和董事會商定的指導原則，這些指導原則將指導AI的采用，并作為可接受用例的屏障。我們已經看到的辯論原則包括以下問題：GenAI可以或應該在多大程度上推動個性化營銷或客戶拓展，使用GenAI來支持雇傭決策(包括招聘和績效評估)，以及在什么條件下GenAI產品可以直接投入生產而不需要人工審查。現有政策通常需要更新，以考慮到GenAI的開發(fā)和使用(例如，涵蓋虛假陳述和知識產權侵權)。

 

·負責任的AI人才和文化。對負責任的AI的承諾不能僅僅停留在高管隊伍中，相反，它需要在整個企業(yè)中層疊進行，并根據相關角色對技術的相關暴露程度定制責任、能力建設和意識，應在全企業(yè)范圍內開展負責任的AI基本培訓，以促進對入站風險的動態(tài)以及如何安全地使用技術的廣泛理解，例如，考慮到模型可能會產生幻覺，作為培訓的一部分，用戶應該被告知，他們不應該僅僅因為他們的機器提供了答案就接受答案(與他們可能經歷過的以前的辦公生產力技術形成對比)。那些從事用例開發(fā)和擴展的人員應該對道德和“按設計負責”有深刻的理解，以便在設計和工程流程的早期嵌入風險考慮。人才考慮因素包括嵌入非技術和技術人才的組合-理想情況下，具有風險專業(yè)知識的技術人才，以支持用戶查詢工作流和控制的識別和設計。

 

 

建立正確的治理是推動負責任地大規(guī)模采用GenAI用例的必要但不充分的步驟，在開發(fā)過程中嵌入設計責任對于明智地部署技術是必不可少的，要在整個用例中成功實現這一點，需要四個關鍵角色，這些角色的職責與他們在推進用例方面的天賦和預期行動密切相關：

 

·設計師。設計師或產品經理通過識別新的用例來引導GenAI部署的方向，并意識到它們如何符合企業(yè)的整體GenAI戰(zhàn)略和路線圖，他們通常來自企業(yè)最確信GenAI可以產生重大影響的業(yè)務和職能，產品經理應負責識別和降低相關風險，他們將在推動采用GenAI所需的文化變革方面發(fā)揮重要作用，包括建立對以下命題的信任：可以負責任地、安全地為員工和客戶實現業(yè)務價值。

 

·工程師。工程師是理解GenAI機制的技術專家，他們開發(fā)或定制技術以支持GenAI用例，同樣重要的是，他們負責指導緩解措施的技術可行性，并最終對緩解措施進行編碼以限制風險，以及開發(fā)技術監(jiān)控策略。

 

·管理者。管理者組成團隊，幫助建立必要的治理、流程和能力，以推動GenAI負責任且安全的實施實踐，這些措施包括建立核心風險框架、護欄和指導設計人員和工程師工作的原則，以及挑戰(zhàn)風險評估和緩解有效性(特別是對于高風險用例)。AI治理官員這種角色的一個典型例子，盡管考慮到潛在風險的范圍，這一角色將需要與其他角色相輔相成，這些角色理想情況下將涵蓋數據風險、數據隱私、網絡安全、監(jiān)管合規(guī)和技術風險。鑒于GenAI的萌芽狀態(tài)，管理者經常需要與工程師協(xié)調，對建立在GenAI模型上的新興用例進行“紅色團隊”測試，以識別和緩解潛在的挑戰(zhàn)。

 

·用戶。用戶代表GenAI工具或用例的最終用戶。需要對他們進行培訓，并使他們適應技術的動態(tài)和潛在風險(包括他們在負責任的使用中的作用)，他們還在幫助識別GenAI用例的風險方面發(fā)揮了關鍵作用，因為他們可能在與模型的交互中遇到有問題的輸出。

 

運營模型應該考慮到不同的角色將如何在GenAI生命周期的不同階段進行交互，根據每個角色中嵌入的特定功能，每個企業(yè)都會有自然的變化，例如，一些企業(yè)將在設計師方面擁有更多的技術能力，這意味著他們可能會扮演更積極的交付角色，但運營模型的目的是展示部署的每個階段的參與度如何變化。

 

GenAI有可能重新定義人們的工作和生活方式，雖然這項技術正在快速發(fā)展，但它也伴隨著各種風險，從對訓練數據完整性的擔憂，到產生不準確或惡意輸出的可能性。業(yè)務領導者需要修改他們的技術劇本，并從他們與GenAI接觸的開始就推動有效風險管理的整合，這將允許以安全和負責任的方式應用這一令人興奮的新技術，幫助企業(yè)管理已知風險(包括入站風險)，同時隨著該技術的能力和用例的擴展，增強適應意外風險的能力。在生產力面臨重大潛在提升的情況下，努力以可持續(xù)和負責任的方式擴展GenAI，對于充分獲得其好處至關重要。

 

 

國內主流的to B IT門戶，同時在運營國內最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_-信眾智(www.cioall.com)。同時運營19個IT行業(yè)公眾號(微信搜索D1net即可關注)。

 

版權聲明：本文為企業(yè)網D1Net編譯，轉載需在文章開頭注明出處為：企業(yè)網D1Net，如果不注明出處，企業(yè)網D1Net將保留追究其法律責任的權利。