當(dāng)今的數(shù)據(jù)中心依賴CPU來驅(qū)動(dòng)運(yùn)行商業(yè)軟件的服務(wù)器，這將需要為獨(dú)特的GenAI模型騰出空間。部署和運(yùn)行GenAI模型將需要新的工具集。
英偉達(dá)首席執(zhí)行官黃仁勛在本周這里的開幕主題演講中說：“通用計(jì)算已經(jīng)走到盡頭，我們需要一種新的計(jì)算方式。”
黃仁勛推出了該公司AI企業(yè)平臺(tái)的第五版，其中包含了他所描述的英偉達(dá)推理微服務(wù)(NIM)。這套組合軟件簡(jiǎn)化了創(chuàng)建和開發(fā)利用英偉達(dá) CUDA(用于公司GPU的并行計(jì)算平臺(tái)和編程模型)的GenAI應(yīng)用程序的過程。
分析師預(yù)計(jì)，許多企業(yè)將在內(nèi)部部署小型語言模型，以便在不將敏感信息傳輸?shù)焦苍频那闆r下對(duì)其進(jìn)行微調(diào)。在數(shù)據(jù)中心運(yùn)行模型有時(shí)比云端更經(jīng)濟(jì)。
英偉達(dá)的合作伙伴瞄準(zhǔn)企業(yè)
NIM之所以有用，是因?yàn)樗?jiǎn)化了將實(shí)時(shí)數(shù)據(jù)定期輸入到訓(xùn)練有素的模型中以做出最新響應(yīng)的過程——這一過程稱為推理。擁有自動(dòng)化與模型相關(guān)過程的工具意味著傳統(tǒng)軟件工程師可以完成工作，而不必尋找難以找到的AI專家，Weights & Biases首席營(yíng)銷官Robin Bordoli說，該公司是AI模型訓(xùn)練平臺(tái)的制造商。
Weights & Biases已將其軟件與英偉達(dá)的推理引擎集成，因此開發(fā)人員可以在支持30個(gè)基礎(chǔ)模型的平臺(tái)上進(jìn)行訓(xùn)練和推理。今天，Weights & Biases擁有1000名客戶，其中許多是政府機(jī)構(gòu)和生命科學(xué)組織，Bordoli說。
他說：“我們正在幫助下一批客戶，即企業(yè)。他們永遠(yuǎn)不會(huì)從頭開始構(gòu)建模型，但他們想要使用現(xiàn)有模型，并根據(jù)自己的企業(yè)數(shù)據(jù)對(duì)其進(jìn)行微調(diào)。”
英偉達(dá)已將NIM構(gòu)建為在Kubernetes上運(yùn)行的容器，Kubernetes是企業(yè)熟悉的開源容器編排平臺(tái)，DataStax開發(fā)關(guān)系副總裁Patrick McFadin說，該公司為AI應(yīng)用提供向量數(shù)據(jù)庫。
McFadin說：“我立刻注意到的是，它使用Kubernetes部署。在大型企業(yè)運(yùn)營(yíng)基礎(chǔ)設(shè)施的人正在使用Kubernetes，所以他們已經(jīng)非常好地將自己融入其中。”
英偉達(dá)合作伙伴Dell Technologies提供多種配備英偉達(dá) AI企業(yè)軟件和GPU(H100和L40S)的PowerEdge服務(wù)器。
Dell的基礎(chǔ)設(shè)施和電信營(yíng)銷高級(jí)副總裁Varun Chhabra說：“我們從大多數(shù)企業(yè)看到的是采用現(xiàn)成的模型，無論是大模型還是小模型，并將其與專有企業(yè)數(shù)據(jù)結(jié)合。”
Dell認(rèn)為，檢索增強(qiáng)生成(RAG)對(duì)企業(yè)來說將和推理一樣重要。RAG是一種架構(gòu)，它結(jié)合了信息檢索系統(tǒng)來保護(hù)私人數(shù)據(jù)。
Chhabra說：“RAG是我們關(guān)注的一個(gè)重要領(lǐng)域。”
英偉達(dá) NIM最大的好處是在一個(gè)容器中打包了推理所需的許多微服務(wù)，Chhabra說。“它以一種即插即用的方式做到了這一點(diǎn)。”
Chhabra說：“AI軟件和加速計(jì)算需要改變數(shù)據(jù)中心。”
“這絕對(duì)感覺像我們處于一個(gè)轉(zhuǎn)折點(diǎn)，”他說。“數(shù)據(jù)中心的徹底重建即將到來。”
英偉達(dá) GTC的客戶
在會(huì)議上，英偉達(dá)的客戶描述了他們?nèi)绾闻cGenAI合作，所有這些都處于早期階段。這些公司包括LinkedIn、全球廣告公司W(wǎng)PP、化妝品制造商L'Oreál以及德國索賠管理軟件制造商ControlExpert GmbH。
WPP與英偉達(dá)合作開發(fā)了一款內(nèi)容引擎，用于使用英偉達(dá) Omniverse Cloud和GenAI創(chuàng)建客戶產(chǎn)品的視頻、3D和2D圖像。該系統(tǒng)還使用Getty Images和Adobe內(nèi)容創(chuàng)作技術(shù)的照片。
WPP首席技術(shù)官Stephan Pretorius表示，廣告藝術(shù)的質(zhì)量取決于AI模型生成作品所需數(shù)據(jù)的可用性。
他在演講中說：“我們發(fā)現(xiàn)，在我們與擁有非常明確的品牌定義、非常準(zhǔn)確的品牌個(gè)性、語調(diào)、聲音等描述方式的客戶合作時(shí)，我們的效果比那些模糊的客戶要好得多。”
Pretorius認(rèn)為，WPP使用AI模仿“人類內(nèi)容創(chuàng)作過程”。他說：“但在我們必須處理的復(fù)雜性和數(shù)據(jù)量方面，沒有AI就無法執(zhí)行這樣的任務(wù)。”
Pretorius認(rèn)為，AI驅(qū)動(dòng)的語音交流將最終取代今天的內(nèi)容驅(qū)動(dòng)方法。
他說：“我們認(rèn)為內(nèi)容消費(fèi)的未來將主要是對(duì)話式的。”
L'Oreál正在測(cè)試GenAI以生成分鏡頭腳本圖像，并使用英偉達(dá) Omniverse進(jìn)行公司包裝產(chǎn)品的3D渲染。它還使用了幾個(gè)AI模型。
該公司向其模型提供了數(shù)千張品牌圖像，以及背景色、不同類型的照明和設(shè)置(如優(yōu)雅的巴黎日落)。廣告創(chuàng)作者可以使用自然語言讓模型創(chuàng)造圖像，以激發(fā)其營(yíng)銷37個(gè)全球品牌的創(chuàng)意。
該系統(tǒng)可以幫助想象未來的美容院或使用空間現(xiàn)象(如紅色星云)的廣告場(chǎng)景。
L'Oréal首席數(shù)字和營(yíng)銷官Asmita Dubey在一次采訪中說：“發(fā)生的是數(shù)據(jù)的重新解釋。而且是速度[創(chuàng)作]。它可以做得更快。”
在過去的六個(gè)月里，L'Oréal與英偉達(dá) Omniverse和WPP合作為其產(chǎn)品創(chuàng)建了定制的3D模型，以便它可以更改背景、顏色和陰影，而不必在攝影棚里花費(fèi)幾天時(shí)間與攝影師一起。L'Oréal只需要一次工作室會(huì)議就可以捕捉到產(chǎn)品包裝的所有角度。
該公司認(rèn)為它可以節(jié)省時(shí)間和金錢，但它仍處于使用Omniverse的早期階段。
在會(huì)議的小組討論中，LinkedIn工程副總裁Sabry Tozin表示，該公司使用AI進(jìn)行語言翻譯。這使得位于內(nèi)布拉斯加州奧馬哈的客戶服務(wù)代表能夠用西班牙語、法語或德語與客戶交談，而無需了解這些語言。
Tozin說：“這使我們能夠留住那些非常了解我們的產(chǎn)品并能夠向客戶提供深入答案的代表。”
ControlExpert的軟件使保險(xiǎn)公司能夠讓客戶在發(fā)生事故后拍攝車輛損壞的照片，并通過移動(dòng)應(yīng)用將圖像發(fā)送給供應(yīng)商。
AI模型分析圖像，評(píng)估損壞并返回估計(jì)的維修成本和批準(zhǔn)的汽車修理廠列表。ControlExpert的客戶包括90%的保險(xiǎn)公司。
該公司的創(chuàng)新與技術(shù)總監(jiān)Sebastian Schoenen說，該公司已經(jīng)對(duì)20年來收集的數(shù)據(jù)進(jìn)行了模型訓(xùn)練。它每年處理2000萬個(gè)索賠。
汽車模型設(shè)計(jì)經(jīng)常發(fā)生變化，修理價(jià)格也在波動(dòng)，因此ControlExpert正在不斷更新其模型。盡管如此，仍有一小部分案例需要人工干預(yù)。
Schoenen說：“如果我們看到我們的模型無法完成某些任務(wù)，我們就會(huì)將索賠轉(zhuǎn)給人類。”
企業(yè)網(wǎng)D1net(hfnxjk.com)：
國內(nèi)主流的to B IT門戶，同時(shí)在運(yùn)營(yíng)國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。同時(shí)運(yùn)營(yíng)19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需在文章開頭注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號(hào)