根據戴爾9月份對IT決策者的一項調查，76%的人表示，GenAI將對他們的公司產生“重大”影響，大多數人預計在未來12個月內將看到有意義的結果。
大型語言模型(LLM)是一種關注文本和代碼而不是圖像或音頻的GenAI，盡管一些模型已經開始集成不同的形式。當今公司中最受歡迎的LLM是ChatGPT和其他OpenAI GPT模型，Anthropic的Claude，Meta的Llama 2，以及來自Abu Dhabi技術創新研究所的開源模型Falcon，該模型以支持英語以外的語言而聞名。
公司有幾種部署LLM的方式，比如允許員工訪問公共應用程序，使用Prompt工程和API將LLM嵌入現有軟件，使用矢量數據庫提高準確性和相關性，微調現有模型，或者構建自己的LLM。
部署公有LLM
Dig Security是一家以色列云數據安全公司，其工程師使用ChatGPT編寫代碼，首席執行官Dan Benjamin說：“每個工程師都會用東西來幫助他們更快地編寫代碼。”而ChatGPT是最早也是最簡單的編碼助手之一，但它有一個問題——你永遠不能確定你上傳的信息是否不會被用于培訓下一代模型。Dig Security通過兩種方式解決了這一可能性，首先，該公司使用安全網關來檢查上傳了哪些信息。
“我們的員工知道他們不能上傳任何敏感的東西，”Benjamin說。“它被封住了。”
其次，該公司將其工程師輸送到運行在Azure私有云上的ChatGPT版本，這意味著Dig Security擁有自己的獨立ChatGPT實例。Benjamin說，即使用這種腰帶和吊帶的方法來確保安全，這也不是一個完美的解決方案。“沒有完美的解決方案。任何認為存在的公司，都是在自欺欺人。
例如，某人可以使用VPN或個人計算機訪問ChatGPT的公有版本，這就是另一種程度的風險緩解的用武之地。
“這一切都是關于員工培訓，”他說，“并確保他們了解自己需要做什么，并在數據安全方面接受過良好的培訓。”
Dig Security公司并不孤單。
加州SkyHigh Security公司營銷總監Tracy Holden表示，2023年上半年，近100萬最終用戶通過公司基礎設施訪問了ChatGPT，用戶數量在1-6月之間增長了1500%。
在Netskope Threat Labs 7月份的一份報告中，發布到ChatGPT的源代碼比任何其他類型的敏感數據都多，每月每10000個企業用戶發生158起事件。
最近，公司已經得到了更安全、更適合企業的選擇，比如微軟的Copilot，它將易用性與額外的控制和保護結合在一起。在11月初的OpenAI DevDay上，首席執行官Sam Altman表示，目前有1億活躍用戶在使用該公司的ChatGPT聊天機器人，200萬開發者在使用其API，超過92%的財富500強公司都在使用OpenAI平臺。
矢量數據庫和RAG
對于大多數希望定制LLM的公司來說，檢索增強生成(RAG)是可行的。如果有人在談論嵌入或向量數據庫，這就是他們通常的意思，它的工作方式是用戶提出一個問題，比如說，關于公司的政策或產品，這個問題并不是馬上就交給LLM的，相反，它首先被處理，用戶是否有權訪問該信息?如果有訪問權，則通常從矢量數據庫中檢索所有可能相關的信息，然后，問題和相關信息被發送到LLM，并嵌入到優化提示中，該優化提示還可以指定LLM應該使用的回答和語氣的優選格式。
矢量數據庫是一種在一系列列表中組織信息的方式，每個列表都按不同的屬性排序，例如，你可能有一個按字母順序排列的列表，你的回復越接近字母順序，它們就越相關。
按字母順序排列的列表是一維向量數據庫，但向量數據庫可以有無限多個維度，使你可以根據它們與任意數量的因素的接近程度來搜索相關答案，這使得它們非常適合與LLM一起使用。
Salesloft是一家銷售平臺供應商，其首席產品和工程官Ellie Fields表示：“目前，我們正在將所有內容轉換為矢量數據庫。是的，它們正在發揮作用。”
而且，它比使用簡單的文檔為LLM查詢提供上下文更有效，她說。
該公司主要使用ChromaDB，這是一個開源的矢量存儲，主要用于LLM。Salesloft使用的另一個矢量數據庫是PgVECTOR，這是針對PostgreSQL數據庫的矢量相似性搜索擴展。
“但我們也用FAISS和Pinecone做了一些研究，”她說。FAISS，或Facebook AI Similarity Search，是Meta提供的一個開源庫，支持多媒體文檔中的相似性搜索。
Pinecone是一個專有的基于云的矢量數據庫，也受到開發人員的歡迎，它的免費層支持多達10萬個矢量。一旦從矢量數據庫中檢索到相關信息并嵌入到提示符中，查詢就會被發送到在Microsoft Azure上的私有實例中運行的OpenAI。
“我們將Azure認證為我們平臺上的新子處理器，”Fields說。“當我們為客戶的信息配備了新的處理器時，我們總是讓他們知道。”
但Salesloft也與谷歌和IBM合作，并正在開發也使用這些平臺的GenAI功能。
“我們肯定會與不同的供應商和不同的模式合作，”她說。情況一周又一周在變化。如果你不看不同的車型，你就錯失良機了。因此，RAG允許企業將他們的專有數據與模型本身分開，隨著更好的模型的發布，更容易交換模型。此外，矢量數據庫甚至可以實時更新，而不需要對模型進行更多的微調或重新訓練。
“我們已經更換了模型，從OpenAI到Azure上的OpenAI，”Fields說，“我們已經在不同的OpenAI模型之間進行了切換，我們甚至可能針對我們的客戶群的不同部分支持不同的型號。”
她補充說，有時不同的型號有不同的API。“這不是小事，”她說，但換掉一個模型仍然比再培訓容易。“我們還沒有找到一個用例來更好地服務于微調，而不是矢量數據庫，”Fields補充道。“我相信有一些用例，但到目前為止，我們還沒有找到性能更好的用例。”
Salesloft推出的LLM的首批應用之一是添加了一項功能，允許客戶向潛在客戶生成銷售電子郵件。“客戶花了很多時間來寫這些電子郵件，”Fields說。“它很難開始，而且有很多作家的障礙。”因此，現在客戶可以指定目標角色、他們的價值主張和行動號召-他們會收到三封可以個性化的不同草稿電子郵件。Fields說，Salesloft使用OpenAI的GPT 3.5撰寫這封電子郵件。
本地運行的開源模型
總部位于波士頓的Ikigai Labs提供了一個平臺，允許公司構建定制的大型圖形模型，或設計用于處理結構化數據的人工智能模型，但為了使界面更易于使用，Ikigai在其前端安裝了LLM，例如，該公司使用了Falcon開源LLM的70億參數版本，并在自己的環境中為一些客戶運行它。
為了向LLM提供信息，Ikigai使用了也在本地運行的矢量數據庫，它建立在邊界森林算法的基礎上，聯合創始人兼聯合首席執行官Devavrat Shah說。
“四年前在麻省理工學院，我和我的一些學生嘗試了大量的矢量數據庫，”同時也是麻省理工學院人工智能教授的Shah說，“我知道它會有用的，但沒這么有用。”
他表示，將模型和矢量數據庫都保存在本地意味著數據不會泄露給第三方。“對于那些愿意向他人發送查詢的客戶，我們使用OpenAI，”Shah說。“我們是不可知論者。”
構建了自己的ChatPWC工具的普華永道，也是LLM不可知論者。“ChatPWC讓我們的員工更有能力，”該公司合伙人、Gen AI Go-Market戰略負責人Bret Greenstein說，例如，它包括用于生成職位描述的預置提示。“它有我所有的格式、模板和術語，”他說，“我們有人力資源、數據和提示專家，我們設計的東西能產生非常好的招聘信息。現在，沒有人需要知道如何使用令人驚嘆的提示語來生成職位描述。”
該工具是基于Microsoft Azure構建的，但該公司也為谷歌云平臺和AWS構建了它。“我們必須為我們的客戶服務，他們存在于每個云上，” Greenstein說。同樣，它也進行了優化，在后端使用不同的型號，因為這是客戶想要的。他補充說：“我們讓每一種模式都能發揮作用。Llama 2，Falcon——我們什么都有。”
當然，市場變化很快，Greenstein建議企業對他們的人工智能部署采取“不后悔”的政策。
“人們可以做很多事情，”他說，“比如建立獨立于模型的數據，以及建立治理。”然后，當市場發生變化，一種新的模式出現時，數據和治理結構仍將是相關的。
微調
管理咨詢公司AArete采用了開源模型GPT 2，并根據自己的數據對其進行了微調。該公司負責數字技術服務的副總裁Priya Iragavarapu說：“這是輕量級的。我們想要一個開源的，能夠在我們的環境中獲取并發布它的軟件。”
如果AArete使用托管模型并通過API連接到它，則會出現信任問題。她說：“我們擔心來自提示的數據可能最終會出現在哪里，我們不想冒這些風險。”
在選擇開源模型時，她會考慮以前的下載次數、社區支持和硬件要求。
她說：“基礎模式也應該有一些任務相關性。”有一些模型適用于特定的任務。例如，我最近研究了一個擁抱臉模型，它可以將PDF中的內容解析為結構化格式。
金融界和醫療保健行業的許多公司都在根據自己的額外數據集對LLM進行微調。
她說：“基本的LLM是在整個互聯網上接受培訓的。”通過微調，公司可以創建專門針對其業務用例的模型。
一種常見的方法是創建一個問題和答案的列表，并根據這些問題和答案微調一個模型。事實上，OpenAI在8月份開始允許使用問答方法對其GPT 3.5型號進行微調，并在11月的DevDay上推出了一套新的GPT 4微調、定制和RAG選項。
這對于客戶服務和幫助臺應用程序特別有用，在這些應用程序中，公司可能已經擁有常見問題數據庫。
同樣在戴爾的調查中，21%的公司更愿意在自己的環境中使用自己的數據來重新培訓現有模型。
Constellation Research公司副總裁兼首席分析師Andy Thurai說：“最受歡迎的選擇似乎是Llama 2。” Llama 2有三種不同的尺寸，對于月用戶少于7億的公司是免費的，公司可以在自己的數據集上對其進行微調，并相當快地推出新的定制模型，他表示。事實上，Hugging Face LLM排行榜目前由Llama 2的不同微調和定制主導。在Llama 2之前，Falcon是最受歡迎的開源LLM，他補充道。“現在是一場軍備競賽。”他說，微調可以創建一個針對特定業務用例更準確的模型。“如果你使用的是一個廣義的Llama模型，精度可能會很低。”
與RAG嵌入相比，微調也有一些優勢。在嵌入的情況下，公司必須對每個查詢進行矢量數據庫搜索。“而且你已經有了數據庫的實現，” Thurai說。“這也不是一件容易的事。”
微調也沒有上下文窗口限制。有了嵌入，可以添加到提示符的信息就只有這么多了。如果一家公司確實進行了微調，他們不會經常這樣做，就在基礎人工智能模型的顯著改進版本發布時。
最后，如果一家公司有一個快速變化的數據集，可以結合嵌入使用微調。“你可以先對其進行微調，然后對增量更新進行RAG，”他說。
Forrester Research分析師Rowan Curran預計，在未來一年左右的時間里，將出現大量微調的、特定于領域的模型，公司還可以提煉模型，使其在特定任務中更有效率，但他說，只有一小部分公司——10%或更少——會這么做。
普華永道的Greenstein表示，開發SaaS應用等應用的軟件公司可能會進行微調。“如果你有一個高度可重復的模式，微調可以降低你的成本，”他說，但對于企業部署，RAG在90%到95%的情況下效率更高。
加拿大企業搜索和推薦公司Coveo的ML副總裁Sebastien Paquet補充道：“我們實際上正在研究針對特定垂直市場的微調模型。”我們有一些專門的垂直領域有專門的詞匯，比如醫學垂直領域。銷售卡車零部件的企業有自己的零部件命名方式。
然而，就目前而言，該公司使用的是在Azure私有云上運行的OpenAI的GPT 3.5和GPT 4，并隔離了LLM API調用，以便Coveo可以在需要時切換到不同的型號。它還針對特定的用例使用了一些來自Hugging Face的開源LLM。
從頭開始構建LLM
很少有公司會從頭開始建立自己的LLM，畢竟，根據定義，它們是相當大的。OpenAI的GPT 3具有1750億個參數，并在45TB的數據集上進行訓練，訓練成本為460萬美元。據OpenAI首席執行官Sam Altman稱，GPT 4的成本超過1億美元。
正是這種大小賦予了LLM魔法和處理人類語言的能力，具有一定程度的常識，以及遵循指令的能力。
“你不能僅僅靠自己的數據來訓練它，”Insight的杰出工程師Carm Taglienti說。“在數千萬參數上進行訓練是有價值的。”
今天，幾乎所有的LLM都來自大型超大規模公司或OpenAI和Anthropic等專注于人工智能的初創公司。
即便是在構建自己的模型方面擁有豐富經驗的公司，也不愿創建自己的LLM。
例如，Salesloft多年來一直在構建自己的人工智能和機器學習模型，包括使用更早技術的GenAI模型，但對從頭開始構建全新的尖端基礎模型猶豫不決。
“這是一個巨大的計算步驟，至少在這個階段，我認為我們還沒有開始。”Fields說。
關于企業網D1net(hfnxjk.com)：
國內主流的to B IT門戶，同時在運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。同時運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號