這個成熟階段是一個受歡迎的發展，因為它給CIO一個機會，可以將GenAI的承諾轉化為業務價值。雖然大多數CIO知道試點項目不反映真實的場景——畢竟這不是試點的真正目的——他們往往低估了將GenAI投入生產所需的工作量。最終，要充分利用GenAI，公司需要重新設計工作方式，而建立一個可擴展的技術基礎是這一過程的重要組成部分。

 

在我們之前的文章中，我們探討了許多關鍵的初始技術問題。在這篇文章中，我們希望探討關于用“Shaper”方法（公司通過將大型語言模型（LLM）連接到內部應用程序和數據源來開發競爭優勢）擴展GenAI的七個真相。以下是Shapers需要知道和做的七件事：

 

1. 消除噪音，專注于信號。誠實地評估哪些試點項目有效。減少實驗。將努力集中在解決重要的業務問題上。

 

2. 關鍵在于如何組合，而不是單個部分。評估GenAI引擎的各個組件花費了太多時間，更重要的是弄清楚它們如何安全地協同工作。

 

3. 在成本拖累你之前掌握成本。模型僅占GenAI應用程序總體成本的約15%。了解成本所在，并應用合適的工具和能力來控制它們。

 

4. 控制工具和技術的擴散。基礎設施、LLM和工具的擴散使得大規模部署不可行。縮小到那些最能服務于業務的能力，并利用現有的云服務（同時保留你的靈活性）。

 

5. 創建能夠構建價值的團隊，而不僅僅是模型。實現規模化需要一個擁有廣泛技能的團隊，不僅能構建模型，還能確保它們安全、可靠地產生預期的價值。

 

6. 關注正確的數據，而不是完美的數據。瞄準最重要的數據并在時間上投資其管理，對你能多快實現規模有很大影響。

 

7. 重用。可重用代碼可以將GenAI用例的開發速度提高30%到50%。

 

 

盡管許多業務領導者承認需要超越試點和實驗，但這并不總是反映在實際情況中。即使GenAI的采用增加了，其對實際收益的影響實例仍然很少。在我們最新的AI調查中，只有15%的公司表示GenAI的使用對他們公司的EBIT產生了有意義的影響。

 

這種情況加劇了領導者從實驗中得出誤導性教訓的問題。他們試圖將本質上是聊天界面試點的項目轉變為應用程序——這是典型的“為技術尋找解決方案”的陷阱。或者一個試點可能被認為是“成功的”，但它并沒有應用到業務的重要部分。

 

失敗實現規模化的原因有很多，但最主要的是資源和高管的關注分散在幾十個正在進行的GenAI項目上。這并不是一個新現象。當其他技術（如云計算和高級分析）出現時，我們也看到了類似的模式。然而，這些創新的經驗教訓并沒有被牢記。

 

CIO需要做出的最重要決定是消除表現不佳的試點項目，并擴大那些在技術上可行并有望解決重要業務領域同時最小化風險的項目。CIO需要與業務單元領導密切合作，設置優先級并處理他們選擇的技術影響。

 

 

在許多討論中，我們聽到技術領導者對交付GenAI（GenAI）解決方案所需的組件部分——LLM、API等——反復糾結。然而，我們了解到，解決這些單個部分相對容易，而將它們集成起來則非常困難。這在GenAI的規模化過程中創造了一個巨大的障礙。

 

挑戰在于協調范圍廣泛的交互和集成。每個用例通常需要訪問多個模型、向量數據庫、提示庫和應用程序。公司必須管理各種來源（如云端、本地、供應商處或其組合），保真度的程度（包括延遲和彈性），以及現有的協議（例如訪問權限）。添加一個新的組件來提供解決方案，會對系統中的所有其他組件產生連鎖反應，增加整體解決方案的指數級復雜性。

 

有效協調的關鍵在于將企業的領域和工作流程專業知識嵌入到應用程序在云基礎上運行時的模型、數據和系統交互的逐步流程和順序管理中。有效協調引擎的核心組件是API網關，它負責驗證用戶、確保合規、記錄請求和響應對（例如，幫助團隊計費），并將請求路由到最佳模型，包括第三方提供的模型。網關還支持成本跟蹤，并為風險和合規團隊提供了一種可擴展的使用監控方式。這個網關功能對于實現規模化至關重要，因為它允許團隊獨立操作，同時確保他們遵循最佳實踐。

 

然而，要有效協調交付GenAI能力所需的眾多交互，沒有有效的端到端自動化是不可能的。“端到端”是這里的關鍵短語。公司通常會自動化工作流程的某些元素，但只有通過自動化整個解決方案，從數據處理（清理和集成）和數據管道構建到模型監控和通過“代碼即政策”進行風險審查，才能真正獲得價值。我們的最新研究表明，GenAI高績效者在發布過程中的測試和驗證嵌入率是其同行的三倍多。現代MLOps平臺對于幫助管理這種自動化流程至關重要，根據麥肯錫的分析，它可以加快生產速度十倍，并提高云資源的使用效率。

 

由于其概率性質或基礎模型的頻繁變化，GenAI模型可能會產生不一致的結果。模型版本可能每周更新一次，這意味著公司不能僅僅設置其協調能力并讓其在后臺運行。他們需要開發超高敏感的觀察和分類能力，以快速、安全地實施GenAI。可觀察性工具實時監控GenAI應用程序與用戶的交互，跟蹤響應時間、準確性和用戶滿意度等指標。如果應用程序開始生成不準確或不適當的響應，該工具會提醒開發團隊進行調查，并對模型參數、提示模板或協調流程進行必要的調整。

 

 

GenAI數據使用和模型交互的規模龐大，意味著成本可能迅速失控。管理這些成本將對CIO是否能夠在規模上管理GenAI項目產生巨大影響。但了解是什么驅動成本對GenAI項目至關重要。例如，模型本身僅占典型項目工作量的約15%。隨著時間的推移，LLM成本顯著下降，并繼續下降。

 

CIO應將精力集中在以下四個現實上：

 

- 變更管理是最大的成本。我們的經驗表明，管理GenAI成本的一個好經驗法則是，每花費1美元開發模型，您需要花費約3美元進行變更管理。（相比之下，對于數字解決方案，這一比例通常接近1美元開發1美元變更管理。）紀律性管理變更操作范圍，從培訓人員到角色建模到主動績效跟蹤，對于GenAI至關重要。我們的分析表明，高績效者在績效管理基礎設施（如關鍵績效指標（KPI））方面的可能性幾乎是其他人的三倍，以衡量和跟蹤GenAI的價值。他們也更有可能培訓非技術人員，讓他們足夠了解使用GenAI的潛在價值和風險。

 

公司在處理變更管理成本方面取得成功，主要集中在兩個領域：首先，從一開始就讓最終用戶參與解決方案的開發（公司往往只是為GenAI應用程序創建一個聊天界面）；其次，邀請他們最優秀的員工來訓練模型，以確保模型正確且快速地學習。

 

- GenAI應用程序的運行成本大于構建成本。我們的分析表明，運行模型的費用遠高于構建模型。基礎模型的使用和勞動力是成本的主要驅動因素。大部分勞動力成本用于模型和數據管道的維護。在歐洲，我們發現風險和合規管理也會產生顯著的成本。

 

- 降低模型成本是一個持續的過程。例如，如何設計GenAI的架構決策可能導致成本差異達10到20倍，有時甚至更多。現有一系列成本削減工具和能力，例如預加載嵌入。這不是一次性的工作。成本優化過程需要時間和多種工具，但如果做得好，可以將成本從每次查詢一美元減少到不到一美分。

 

- 投資應與投資回報率（ROI）掛鉤。并非所有GenAI交互都需要同等對待，因此它們的成本也不應相同。例如，GenAI工具響應客戶的實時問題，對于客戶體驗至關重要，需要較低的延遲率，因此成本更高。但代碼文檔工具則不需要如此高的響應速度，可以以更低的成本運行。云在推動ROI方面起著至關重要的作用，因為其主要價值來源于支持業務增長，尤其是支持大規模的分析解決方案。目標是開發一種建模紀律，在不陷入無休止分析的情況下，將ROI聚焦于每個GenAI用例。

 

 

許多團隊仍在推動自己的用例，并且通常設置了自己的環境，導致公司不得不支持多種基礎設施、LLM、工具和擴展方法。事實上，在最近的麥肯錫調查中，受訪者將“平臺過多”列為實施GenAI規模化的首要技術障礙。基礎設施和工具越多，操作的復雜性和成本就越高，這反過來使得大規模推出變得不可行。這種狀況類似于云和軟件即服務（SaaS）的早期階段，當時訪問技術變得如此容易——通常只需一張信用卡——導致工具泛濫，造成混亂和風險。

 

要實現規模化，公司需要一套可管理的工具和基礎設施。但如何選擇供應商、主機、工具和模型？關鍵在于不要在無關緊要的決策上浪費時間（例如，選擇LLM的重要性越來越低，因為它們逐漸變成商品），或者在根本沒有多少選擇的情況下浪費時間——例如，如果你的主要云服務提供商（CSP）擁有大部分數據并且你的團隊熟悉該CSP的工作方式，那么你應該選擇該CSP的GenAI服務。事實上，主要的CSP正在推出新的GenAI服務，這些服務可以幫助公司改進一些用例的經濟性并開放新的訪問。公司如何利用這些服務取決于許多變量，包括其自身的云成熟度和云基礎的實力。

 

需要詳細考慮的是如何以靈活的方式構建基礎設施和應用程序，使其相對容易地切換供應商或模型。可以考慮采用供應商廣泛使用的標準（如KFServing，一種用于部署GenAI模型的無服務器解決方案），Terraform用于基礎設施即代碼，以及開源LLM。

 

值得強調的是，過度設計靈活性最終會導致收益遞減。解決方案過多會變得維護成本高昂，難以充分利用服務提供商提供的服務。

 

 

公司面臨的最大問題之一是他們仍將GenAI視為技術項目，而不是廣泛的業務優先事項。然而，過去的技術努力表明，創造價值從來不僅僅是“技術”問題。要讓GenAI產生真正的影響，公司必須建立能夠超越IT功能并將其嵌入業務中的團隊。過去的經驗教訓也適用。例如，敏捷實踐加快了技術開發。但只有當企業的其他部分（如風險和業務專家）與產品管理和領導團隊一起整合到團隊中時，才會產生更大的影響。

 

為了確保更廣泛的企業整合，有多種原型可以使用。一些公司建立了卓越中心，作為優先考慮用例、分配資源和監控績效的中樞。其他公司則在團隊之間分配戰略和戰術職責。哪個原型適合某個特定企業，取決于其可用的人才和本地實際情況。但關鍵是，這一集中職能部門能夠促成技術、業務和風險領導者之間的緊密合作，并嚴格遵循驅動成功項目的成熟協議。這些可能包括季度業務審查，以根據特定目標和關鍵結果（OKR）跟蹤項目進展，并采取干預措施解決問題、重新分配資源或關閉表現不佳的項目。

 

這個治理結構的一個關鍵角色是確保有效的風險協議得以實施和遵循。例如，構建團隊需要繪制每個用例相關的潛在風險；在整個用例生命周期中，需要實施技術和“人機協作”協議。這個監督機構還需要管理GenAI風險，通過評估暴露點并實施緩解策略來進行管理。

 

一個需要防范的問題是僅僅管理戰術用例的流量，特別是在數量大的情況下。這個中央企業需要授權將相關用例聚集在一起，以確保大規模影響并推動大型創意。這個團隊需要充當價值的守護者，而不僅僅是工作的管理者。

 

一家金融服務公司為高級管理層制定了明確的治理協議。由CIO和首席戰略官贊助的指導小組專注于企業治理、戰略和溝通，推動用例的識別和審批。由CTO贊助的賦能小組則專注于數據架構、數據科學、數據工程和核心賦能能力的決策。CTO還要求至少一名有經驗的架構師早期加入用例團隊，以確保團隊使用既定標準和工具集。這種監督和治理的明確性在幫助企業從管理5個用例到超過50個用例的過程中起到了關鍵作用。

 

 

很多人誤以為GenAI可以簡單地收集必要的數據并加以理解。但沒有清晰準確的數據，高性能的GenAI解決方案是不可能的，這需要實際的工作和關注。那些投資于數據基礎設施以生成優質數據的公司，會有更明確的目標。

 

以標簽處理為例，這個過程往往在為所有數據追求完美和完全忽視之間搖擺。我們發現，針對用于增強生成（RAG）的數據進行有針對性的標簽處理，可以顯著提高GenAI查詢答案的質量。同樣，花時間為內容來源的重要性進行評級（“權威加權”）也很關鍵，這有助于模型理解不同來源的相對價值。做到這一點需要具有相關專業知識的人的大量監督。

 

由于GenAI模型非常不穩定，公司需要在添加新數據時維護其平臺，這種情況經常發生，并且會影響模型的表現。在大多數公司，這變得極其困難，因為相關數據分散在許多不同的地方。那些投資于創建數據產品的公司處于領先地位，因為他們有一個企業良好的數據源，可以用于長期訓練模型。

 

例如，在一家材料科學產品公司，各個團隊訪問產品信息，但每個團隊都有不同的版本。研發部門有材料安全表，應用工程團隊（技術銷售/支持團隊）開發自己的版本以解決特定客戶的問題，商業化團隊有產品描述，客戶支持團隊有一套特定的產品詳情來回答查詢。隨著每個團隊更新其版本的產品信息，出現了沖突，使得GenAI模型難以使用這些數據。為了解決這個問題，公司將所有相關的產品信息集中到一個地方。

 

 

可重復使用的代碼可以將GenAI用例的開發速度提高30%到50%。但是，由于急于取得有意義的突破，團隊往往專注于單個用例，從而導致規模化的希望破滅。CIO需要將業務的精力轉向構建能夠服務于多個用例的跨領域解決方案。實際上，我們發現，表現突出的GenAI團隊在構建戰略性基礎設施以實現跨解決方案重用方面的可能性幾乎是其他團隊的三倍。

 

然而，在致力于重用時，很容易陷入構建抽象GenAI能力的陷阱，這些能力雖然在技術上很容易實現，但卻沒有得到實際使用。一種更有效的構建可重用資產的方法是對一組用例（通常是三到五個）進行有紀律的審查，以確定它們的共同需求或功能。團隊可以將這些共同元素構建為可輕松重用或組合在一起以創建新功能的資產或模塊。例如，數據預處理和攝取可以包括數據分塊機制、結構化數據和元數據加載器以及數據轉換器等獨立模塊。一家歐洲銀行審查了其能力在廣泛用例中使用的可能性，并投資開發了一個合成器模塊、一個翻譯模塊和一個情感分析模塊。

 

CIO不能期望這一切自然發生。他們需要指定一個角色，比如平臺所有者，并指定一個跨職能團隊，任務是為產品團隊開發可重用資產，這些資產可以包括經過批準的工具、代碼和框架。

 

GenAI可能帶來的價值是變革性的。但要捕捉到全部價值，公司需要在規模上利用GenAI，這要求CIO不僅要承認這些艱難的現實，還要準備采取行動，引領企業前進。

 

 

國內主流的to B IT門戶，同時在運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。同時運營19個IT行業公眾號(微信搜索D1net即可關注)。

 

版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。