GenAI是歷史上發展最快的新技術。它正在改變世界，根據9月發布的美國3000多名在職成年人的實時人口調查，四分之一的人在上一周至少使用過一次GenAI進行工作，近11%的人每天都在使用。
因此，與互聯網相比，這項新技術的采用速度大約快了一倍。在S&P Global Market Intelligence代表Weka發布的一份最近報告中，88%的受訪企業使用GenAI，24%的企業將其作為工作流程中的集成能力。
更具體地說，LLM是一種專注于文本和代碼而不是圖像或音頻的GenAI，盡管有些LLM已經開始整合不同的模態。當前企業中最受歡迎的LLM有ChatGPT和其他OpenAI GPT模型、Anthropic的Claude、Google的Gemini、Meta的Llama，以及由Meta和Google的DeepMind前員工創建的開源項目Mistral。
隨著勢頭不斷增強，以及行業壓力要求更直接地應用GenAI，我們研究了公司當前在部署LLM時面臨的七種不同程度的復雜性，以及他們為確保競爭優勢而愿意付出的努力。
引入聊天機器人
聊天機器人是公司在工作中開始使用GenAI的最簡單方式。對于風險最低的使用場景，如AI驅動的互聯網搜索或公共文檔總結，有免費的公共選項可供選擇。這些聊天機器人也有企業版，供應商承諾保證所有對話的安全，不會將其用于訓練AI。
根據Netskope Threat Labs 7月的一份報告，96%的企業使用GenAI聊天機器人，一年前這一比例為74%。在企業中，ChatGPT是最受歡迎的通用GenAI聊天機器人平臺，使用率為80%。其次是Microsoft Copilot，使用率為67%，Google Gemini的使用率為51%。
此外，企業軟件供應商越來越多地在其平臺中嵌入GenAI功能。例如，Grammarly和Salesforce都具有GenAI功能。大多數主要的企業軟件供應商要么已經推出了一些GenAI功能，要么已將其納入路線圖。
“當然，今年以及未來兩年，你能歸因于GenAI的大部分價值創造，將體現在你的搜索引擎、應用程序和工具中的副駕駛或助手功能上，”全球咨詢公司SSA & Company應用解決方案負責人Nick Kramer表示。
在其評估中，Gartner預測，到2026年，超過80%的企業軟件供應商將具備GenAI功能，而3月時這一比例還不到5%。
應用程序編程接口
下一個最常見的GenAI部署策略是在企業平臺中添加應用程序編程接口(API)。例如，如果員工使用某個應用程序來跟蹤會議，那么可以使用API自動生成會議記錄的摘要。Gartner表示，到2026年，超過30%的API需求增長將來自GenAI。
“你可以通過基于使用量的定價模型訪問大型科技公司創建的商用LLM的API，”Kearney數字和分析實踐合伙人Bharath Thota表示。“許多云提供商讓人們能夠輕松訪問這些LLM。”
他表示，對于像總結報告這樣的任務，可以直接使用LLM，而無需檢索增強生成(RAG)嵌入或微調;只需使用提示本身，但這取決于需要解決的業務問題。這是一種低風險、低成本的方式，可以在不產生大量開銷的情況下為企業系統添加GenAI功能。這也是公司學習這些API的工作原理以及如何創建有效提示的機會。
根據OpenAI的數據，92%的《財富》500強公司正在使用其API，并且由于新模型的發布、成本降低和性能提高，自7月以來其使用量已翻倍。
向量數據庫和檢索增強生成
對于大多數希望定制其LLM的公司來說，檢索增強生成(RAG)是最佳選擇。如果有人談論嵌入或向量數據庫，通常指的就是這個。它的工作原理是，如果用戶詢問有關公司政策或產品的問題，該問題不會立即發送給LLM。相反，它會首先進行處理，以確定用戶是否有權訪問該信息。如果有訪問權限，則會檢索所有可能相關的信息，通常是從向量數據庫中檢索。然后，將問題和相關信息發送給LLM，并嵌入到一個優化后的提示中，該提示還可能指定答案的首選格式和LLM應使用的語氣。
向量數據庫是一種通過一系列列表來企業信息的方式，每個列表都根據不同的屬性進行排序。例如，如果有一個按字母順序排列的列表，那么你的回復在該順序中越接近，就越相關。字母順序列表是一維向量數據庫，但它們可以有無限維度，允許你根據與任意數量因素的接近度來搜索相關答案。這使得它們非常適合與LLM結合使用。
“現在，我們正在將所有內容轉換為向量數據庫，”銷售參與平臺供應商Salesloft的首席產品和工程官Ellie Fields表示。“是的，它們確實有效。”
她說，這比使用簡單文檔來為LLM查詢提供上下文更有效。該公司主要使用ChromaDB，這是一個開源的向量存儲庫，其主要用途是為LLM服務。Salesloft使用的另一個向量數據庫是PGVector，這是PostgreSQL數據庫的向量相似性搜索擴展。
“但我們也使用FAISS和Pinecone進行了一些研究，”Fields表示。FAISS(Facebook AI Similarity Search)是Meta提供的開源庫，支持在多媒體文檔中進行相似性搜索。
Pinecone是一個專有的基于云的向量數據庫，也受到開發者的歡迎，其免費層級支持多達10萬個向量。一旦從向量數據庫中檢索到相關信息并嵌入到提示中，就會將其發送到在Microsoft Azure上私有實例中運行的OpenAI。
“我們讓Azure在我們的平臺上通過了新子處理器的認證，”Fields表示。“我們總是會讓客戶知道我們有了新的信息處理器。”
但Salesloft也與Google和IBM合作，并且正在開發一種也使用這些平臺的GenAI功能。
“我們肯定會與不同的供應商和不同的模型合作，”她表示。“情況每周都在變化。如果你不看不同的模型，你就會錯失良機。”因此，RAG允許企業將專有數據與模型本身分離，從而能夠更輕松地隨著更好模型的發布而更換模型。此外，向量數據庫可以實時更新，無需對模型進行更多的微調或重新訓練。
有時不同的模型有不同的API。但更換模型仍然比重新訓練更容易。“我們還沒有找到一個使用場景，通過微調而不是向量數據庫能獲得更好的效果，”Fields補充道。“我相信有這樣的使用場景，但到目前為止，我們還沒有找到一個表現更好的。”
Salesloft推出的LLM的首批應用之一是添加了一個功能，讓客戶能夠為潛在客戶生成銷售電子郵件。“客戶要花很多時間來寫這些電子郵件，”Fields表示。“很難開始，而且經常會遇到寫作障礙。”所以現在客戶可以指定目標人物、價值主張和行動號召，然后他們會收到三封不同的電子郵件草稿，可以根據需要進行個性化定制。
本地運行的開源模型
Constellation Research副總裁兼首席分析師Andy Thurai清楚地看到，開源LLM已經變得非常強大。例如，Meta剛剛發布了具有新視覺功能的幾種尺寸的Llama 3.2模型，并表示這些模型已被下載了近3.5億次，在一年內增長了10倍，并且有6萬多個針對特定使用場景進行微調的衍生模型。
根據Chatbot Arena LLM排行榜，Meta的頂級Llama模型在質量上與OpenAI的GPT 4和Anthropic的Claude 3.5 Sonnet相當。
“雖然Llama具有早期優勢，但許多其他企業公司也在創建自己的開源LLM版本，”Thurai表示，包括IBM的Granite模型、AWS的Titan，以及Google的幾個開源模型。鑒于這種增長趨勢，API公司Kong最近對數百名IT專業人士和商業領袖進行了一項調查，結果顯示大多數企業直接使用或通過Azure AI使用OpenAI，其次是Google Gemini，而Meta的Llama位居第三。
開源模型有多種尺寸，這對企業來說是一個優勢，因為較小的模型更便宜、更快。
“許多企業正在從試驗階段轉向部署模式，推理和優化的成本正在成為一個大問題，”圖拉伊(Thurai)說。“他們中的很多人在想要部署的規模上遭遇了成本沖擊。”
總部位于波士頓的Ikigai Labs也提供了一個平臺，允許公司構建定制的大型圖形模型，或設計用于處理結構化數據的人工智能模型。但為了讓界面更易于使用，Ikigai利用大型語言模型(LLM)為其前端提供支持。例如，該公司使用了擁有70億參數的Falcon開源LLM，并在自己的環境中為一些客戶運行它。
Ikigai的聯合創始人兼聯合首席執行官德瓦夫拉特·沙阿(Devavrat Shah)表示，為了給LLM提供信息，Ikigai使用了一個也在本地運行的向量數據庫。“四年前在麻省理工學院，我和我的一些學生試驗了大量的向量數據庫，”同時也是麻省理工學院人工智能教授的沙阿說。“我知道它會有用，但沒想到這么有用。”
他說，將模型和向量數據庫都保持在本地意味著數據不會泄露給第三方。“對于愿意將查詢發送給其他人的客戶，我們使用OpenAI，”沙阿說。“我們對LLM持開放態度。”
還有普華永道，該公司構建了自己的ChatPwC工具，并且也對LLM持開放態度。“ChatPwC讓我們的員工更有能力，”該公司合伙人兼GenAI(gen AI)市場化戰略負責人布雷特·格林斯坦(Bret Greenstein)說。例如，它包含預構建的提示和嵌入，以實現諸如生成職位描述等用例。“這是為了使用我們的格式、模板和術語，”他說。“為了創建這個，我們有人力資源、數據和提示專家，我們優化了用例以生成良好、一致的職位發布。現在，最終用戶不需要知道如何提示來生成職位描述。”
該工具構建于Microsoft Azure之上，該公司還為其構建了適用于Google Cloud Platform和AWS的版本。“我們必須服務我們的客戶，而他們在每一片云上都存在，”格林斯坦說。同樣，它也被優化為在后端使用不同的模型，因為這就是客戶的需求。“我們讓每一個主要模型都運行起來，”他補充說。“Claude、Anthropic、OpenAI、Llama、Falcon——我們應有盡有。”
當然，市場正在快速變化，格林斯坦建議企業對人工智能部署采取無悔政策。
“人們可以做很多事情，比如獨立于模型構建自己的數據，并建立治理體系，”他說。然后，當市場發生變化，新的模型和技術出現時，數據和治理結構仍然具有相關性。
微調
管理咨詢公司AArete在AWS Bedrock的Claude 2.5 Sonnet上使用基于少量學習的微調。“我們是AWS Bedrock在美國東部-1區域的最大用戶，”該公司數字技術服務副總裁普麗雅·伊拉加瓦拉普(Priya Iragavarapu)說。“我們已經能夠有效地將我們的GenAI應用投入生產。”
如果AArete使用托管模型并通過API連接到它，就會產生信任問題。“我們擔心提示中的數據最終會去向何方，”她說。“我們不想冒這些風險。”
在選擇開源模型時，她會查看它之前被下載的次數、社區支持情況以及硬件要求。
“基礎模型從去年開始已經變得非常強大，以至于我們不需要擔心任務相關性的有效性輸出，”她說。“現在唯一的區別是模型在可以接受的token數量和版本控制方面的差異。”
金融界和醫療保健行業的許多公司都在基于自己的附加數據集對LLM進行微調。基礎的LLM是在整個互聯網上訓練的，但通過微調，公司可以創建一個專門針對其業務用例的模型。實現這一目標的常見方法是創建一個問題和答案列表，并基于這些對模型進行微調。事實上，OpenAI從2023年8月開始允許使用問答方法對GPT 3.5模型進行微調，并在11月的DevDay上推出了一套新的微調、定制和檢索增強生成(RAG)選項。這對于客戶服務和幫助臺應用程序特別有用，因為公司可能已經有一個常見問題解答(FAQ)數據庫。
普華永道的格林斯坦表示，構建SaaS應用等應用程序的軟件公司可能會使用微調。“如果你有一個高度可重復的模式，微調可以降低你的成本，”他說，但在企業部署中，RAG在高達95%的情況下效率更高。
從零開始
很少有公司會從頭開始構建自己的LLM。OpenAI的GPT 3有1750億個參數，在45TB的數據集上進行訓練，訓練成本為460萬美元。據OpenAI首席執行官薩姆·奧特曼(Sam Altman)稱，GPT 4的成本超過1億美元。正是這種規模賦予了LLM處理人類語言的魔力，以及一定程度的常識和遵循指令的能力。
Insight的首席數據官卡姆·塔利亞蒂(Carm Taglienti)說：“雖然你可以創建自己的LLM，但這需要大量的數據和計算能力投資。”“從頭開始訓練模型需要足夠的數據量，才能基于你的數據執行你期望的LLM任務。”
然后，一旦模型完成了基礎訓練，就需要進行帶有人類反饋的強化學習(RLHF)步驟，這是模型以適當方式與用戶交互所必需的。
如今，幾乎所有的LLM都來自大型超大規模企業或專注于人工智能的初創公司，如OpenAI和Anthropic。即使是有豐富構建自己模型經驗的公司也避免創建自己的LLM。例如，Salesloft多年來一直在構建自己的AI和ML模型，包括使用早期技術的通用AI模型，但對于從頭開始構建一個全新的、尖端的基礎模型卻猶豫不決。
“這是一個巨大的計算步驟，至少在現階段，我看不到我們會這樣做，”菲爾德斯(Fields)說。
模型花園
對于最成熟的公司來說，一個通用AI模型是不夠的。不同的模型適用于不同類型的用例，并且與它們相關的成本和性能指標也不同。而且不斷有新玩家進入這個領域，超越已有的巨頭。此外，一些模型可以在本地或托管數據中心運行，這可以降低公司的成本或提供額外的安全性或靈活性。為了利用這些選項，公司創建了精心策劃的模型花園，即經過仔細審查的LLM私有集合，包括定制模型或微調模型，并使用路由系統將請求引導到最合適的模型。“還沒有多少公司做到這一點，”凱爾尼(Kearney)的托塔(Thota)說。“這很復雜，但我相信這就是未來。”
企業網D1net(hfnxjk.com)：
國內主流的to B IT門戶，旗下運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。旗下運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號