事實(shí)上，F(xiàn)orrester預(yù)測，嘗試內(nèi)部構(gòu)建AI助手的企業(yè)中，有近四分之三將會(huì)失敗。
Forrester分析師Jayesh Chaurasia和Sudha Maheshwari寫道：“挑戰(zhàn)在于這些架構(gòu)錯(cuò)綜復(fù)雜，需要多個(gè)模型、先進(jìn)的檢索增強(qiáng)生成(RAG)堆棧、高級數(shù)據(jù)架構(gòu)和專業(yè)知識(shí)。”
那么，企業(yè)該如何選擇何時(shí)采用第三方模型、開源工具或構(gòu)建定制化的、內(nèi)部微調(diào)的模型呢?專家對此進(jìn)行了權(quán)衡。
AI架構(gòu)遠(yuǎn)比企業(yè)想象的復(fù)雜
Forrester高級分析師Rowan Curran告訴記者，嘗試自主構(gòu)建代理的企業(yè)通常會(huì)在RAG和向量數(shù)據(jù)庫方面遇到困難。在預(yù)期的時(shí)間框架內(nèi)獲得準(zhǔn)確輸出可能是一項(xiàng)挑戰(zhàn)，而且企業(yè)并不總是理解重新排序的過程或其重要性，重新排序有助于確保模型使用最高質(zhì)量的數(shù)據(jù)。
Curran指出，例如，用戶可能會(huì)輸入10000份文檔，而模型可能會(huì)返回與當(dāng)前任務(wù)最相關(guān)的100份文檔，但是，較短的上下文窗口限制了可以輸入以進(jìn)行重新排序的內(nèi)容。因此，例如，人類用戶可能需要進(jìn)行判斷并選擇10份文檔，從而降低模型的準(zhǔn)確性。
Curran指出，RAG系統(tǒng)的構(gòu)建和優(yōu)化可能需要6到8周的時(shí)間。例如，在進(jìn)行任何調(diào)整之前，第一次迭代的準(zhǔn)確率可能為55%，第二次發(fā)布可能達(dá)到70%，而最終部署的準(zhǔn)確率理想情況下將接近100%。
開發(fā)人員需要了解數(shù)據(jù)的可用性(和質(zhì)量)以及如何對模型進(jìn)行重新排序、迭代、評估和落地(即將模型輸出與相關(guān)、可驗(yàn)證的來源進(jìn)行匹配)。此外，調(diào)高或調(diào)低“溫度”決定了模型的創(chuàng)造力——但一些企業(yè)在創(chuàng)造力方面“非常嚴(yán)格”，從而限制了發(fā)展，Curran表示。
“人們一直認(rèn)為這些東西有個(gè)簡單的按鈕，”他指出，“但實(shí)際上并沒有。”
Curran表示，構(gòu)建AI系統(tǒng)需要大量的人力，強(qiáng)調(diào)了測試、驗(yàn)證和持續(xù)支持的重要性。所有這些都需要專門的資源。
Databricks的AI副總裁、MosaicAI的創(chuàng)始人兼前首席執(zhí)行官Naveen Rao表示：“成功部署AI助手可能很復(fù)雜。”企業(yè)需要訪問各種大型語言模型(LLM)，并且有能力管理和監(jiān)控不僅代理和模型，還有底層數(shù)據(jù)和工具。“這不是一個(gè)簡單的問題，隨著時(shí)間的推移，AI系統(tǒng)訪問的數(shù)據(jù)及其訪問方式將受到越來越多的審查。”
探索AI助手時(shí)需要考慮的因素
專家建議，在考慮部署AI助手的選項(xiàng)(第三方、開源或定制)時(shí)，企業(yè)應(yīng)采取一種受控的、戰(zhàn)術(shù)性的方法。
咨詢公司Intelligence Briefing的創(chuàng)始人兼首席AI戰(zhàn)略師Andreas Welsch建議，首先要考慮幾個(gè)重要的問題和因素，其中包括：
• 你的團(tuán)隊(duì)大部分時(shí)間花在哪里?
• 在這個(gè)過程中，哪些任務(wù)或步驟最耗時(shí)?
• 這些任務(wù)的復(fù)雜性如何?是否涉及IT系統(tǒng)和可訪問的數(shù)據(jù)?
• 提高速度或降低成本將為你的企業(yè)帶來什么?你能否(以及如何)衡量基準(zhǔn)?
Welsch指出，考慮現(xiàn)有的許可證和訂閱也很重要。與軟件銷售代表交談，了解你的企業(yè)是否已經(jīng)可以使用代理功能，如果可以，使用它們需要什么條件(例如附加組件或更高級別的訂閱)。
從那里開始，尋找一個(gè)業(yè)務(wù)功能中的機(jī)會(huì)。例如：“你的團(tuán)隊(duì)在哪些無法用代碼描述的手動(dòng)步驟上花費(fèi)時(shí)間?”之后，在探索代理時(shí)，了解其潛力并“診斷”任何差距。
同時(shí)，一定要通過向團(tuán)隊(duì)展示代理如何幫助他們工作來賦能和教育團(tuán)隊(duì)。“也不要害怕提及代理的局限性，”Welsch說，“這將有助于你管理預(yù)期。”
制定策略，采用跨職能方法
Curran強(qiáng)調(diào)，在制定企業(yè)AI策略時(shí)，采用跨職能方法非常重要。成功的企業(yè)會(huì)讓多個(gè)部門參與這一過程，包括業(yè)務(wù)領(lǐng)導(dǎo)層、軟件開發(fā)和數(shù)據(jù)科學(xué)團(tuán)隊(duì)、用戶體驗(yàn)經(jīng)理等。
他建議，基于企業(yè)的核心原則和目標(biāo)制定路線圖。“我們作為一個(gè)企業(yè)的目標(biāo)是什么?AI將如何幫助我們實(shí)現(xiàn)這些目標(biāo)?”
Curran承認(rèn)，這無疑很困難，因?yàn)榧夹g(shù)發(fā)展得太快了。“沒有一套最佳實(shí)踐、框架，”他說。在AI助手方面，沒有多少開發(fā)人員有發(fā)布后集成和DevOps的經(jīng)驗(yàn)。“構(gòu)建這些東西的技能還沒有以廣泛的方式真正得到發(fā)展和量化。”
因此，企業(yè)難以啟動(dòng)各種AI項(xiàng)目(包括所有類型)，并且許多企業(yè)最終會(huì)轉(zhuǎn)向咨詢機(jī)構(gòu)或他們現(xiàn)有的技術(shù)供應(yīng)商之一，這些供應(yīng)商擁有在其技術(shù)堆棧上進(jìn)行構(gòu)建的資源和能力。最終，當(dāng)企業(yè)與合作伙伴緊密合作時(shí)，他們將最有可能取得成功。
“第三方提供商可能有足夠的資源來跟上最新的技術(shù)和架構(gòu)來構(gòu)建這一系統(tǒng)，”Curran說。
這并不是說不可能在內(nèi)部構(gòu)建定制代理;恰恰相反，他指出。例如，如果一個(gè)企業(yè)擁有強(qiáng)大的內(nèi)部開發(fā)團(tuán)隊(duì)以及RAG和機(jī)器學(xué)習(xí)(ML)架構(gòu)，他們可以利用這些來創(chuàng)建自己的代理AI。他還強(qiáng)調(diào)，如果“你的數(shù)據(jù)得到了良好的管理、記錄和標(biāo)記”，并且沒有“一團(tuán)糟”的API策略，同樣也可以這樣做。
無論哪種情況，企業(yè)都必須從一開始就將持續(xù)的、部署后的需求納入其AI策略中。
“部署后沒有免費(fèi)的午餐，”Curran說，“所有這些系統(tǒng)都需要某種形式的發(fā)布后維護(hù)和支持，以及持續(xù)的調(diào)整和優(yōu)化，以保持它們的準(zhǔn)確性，并隨著時(shí)間的推移使它們更加準(zhǔn)確。”
企業(yè)網(wǎng)D1net(hfnxjk.com)：
國內(nèi)主流的to B IT門戶，旗下運(yùn)營國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。旗下運(yùn)營19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需在文章開頭注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號(hào)