GPT-2、GPT-3、ChatGPT以及最近推出的GPT-4都屬于同一類人工智能模型——Transformer。這意味著，與上一代機器學習模型不同，它們被訓練來完成更統一的任務，因此它們不需要為每個特定的任務重新訓練來產生可行的結果。后者解釋了它們的巨大規模(在GPT-3的例子中有1750億個參數)，而一個模型可能需要“記住整個互聯網”，才能足夠靈活地根據用戶輸入在不同的數據片段之間切換。然后，當用戶輸入查詢的問題，描述任務和幾個示例(就像你向圖書管理員詢問感興趣的書籍一樣)時，模型能夠生成結果。這種方法被稱為“小樣本學習”(Few-Shot Learning)，最近在為現代Transformer模型提供輸入已成為一種趨勢。

 

但是，為了完成當前的任務，是否總是需要掌握所有的互聯網知識呢?當然不是——在很多情況下，就像ChatGPT一樣，需要大量 (數以百萬計)特定于任務的數據樣本，這些樣本將允許模型啟動“從人類反饋中強化學習(RLHF)”過程。反過來，RLHF將衍生出人工智能和人類之間進行的協作訓練過程，以進一步訓練人工智能模型，以產生類似人類的對話。因此，ChatGPT不僅在聊天機器人場景中表現出色，而且還幫助人們編寫短篇內容(例如詩歌或歌詞)或長篇內容(例如論文);當人們需要快速獲得答案時，可以采用簡單的術語或深入的知識解釋復雜的話題;提供頭腦風暴、新的話題和想法，這在創作過程中是有幫助的，支持銷售部門進行個性化溝通，例如生成電子郵件進行回復。

 

雖然從技術上來說，大型Transformer模型可以嘗試完成這些任務，但不太可能由ChatGPT甚至GPT-4來完成——這是因為ChatGPT和其他OpenAI的Transformer對世界發生的事件了解非常有限，因為它們是預訓練的模型，因此由于模型再訓練的計算需求非常大，因此它們的數據更新不夠頻繁。這可能是迄今為止OpenAI(以及其他任何公司)所生成的所有預訓練模型中最大的缺點。一個更大的問題是針對ChatGPT的：與GPT-3不同，它是在一個非常集中的對話數據集上進行訓練的，因此，只有在對話任務中ChatGPT才能超越它的前輩，而在完成其他人類生產力任務時，它就不那么先進。

 

 

人們現在知道ChatGPT只是GPT-3的一個更小、更具體的版本，但這是否意味著在不久的將來會有更多這樣的模型出現：用于營銷的MarGPT，用于數字廣告的AdGPT，用于回答醫療問題的MedGPT?

 

這是有可能的，其原因如下：當SoMin公司提交一份申請以獲得GPT-3 Beta的訪問權限時，盡管填寫了一份冗長的申請表，詳細解釋了將要構建的當前軟件，但被要求同意提供關于每天如何使用模型以及所收到的結果的反饋。OpenAI公司這樣做是有原因的，主要是因為這是一個研究項目，他們需要對模型的最佳應用進行商業洞察，他們通過眾籌來換取參與這場偉大的人工智能革命的機會。聊天機器人應用程序似乎是最受歡迎的應用程序之一，所以ChatGPT首先出現。ChatGPT不僅規模更小(200億個參數vs.1750億個參數)，而且比GPT-3更快，而且在解決會話任務時比GPT-3更準確——對于低成本/高質量的人工智能產品來說，這是一個完美的商業案例。

 

那么，對于生成式人工智能來說，規模越大越好嗎?其答案是，要視情況而定。當人們正在構建一個能夠完成許多任務的通用學習模型時，其答案是肯定的，其規模越大越好，GPT-3比GPT-2和其他前輩的優勢證明了這一點。但是，當人們想要很好地完成一項特定的任務時，就像ChatGPT中的聊天機器人一樣，那么與模型和數據大小相比，數據焦點和適當的訓練過程要重要得多。這就是為什么在SoMin公司沒有使用ChatGPT來生成文案和橫幅的原因，而是利用特定的數字廣告相關數據來指導GPT-3為尚未看到的新廣告制作更好的內容。

 

那么，有人可能會問，生成式人工智能的未來將如何發展?多模態將是人們在即將到來的GPT-4中看到的不可避免的進步之一，正如OpenAI公司首席執行官Sam Altman在他的演講中提到的那樣。與此同時，Altman還打破了該模型擁有100萬億個參數的傳言。因此，人們都知道，這種人工智能模型越大并不總是代表著越好。

 

 

國內主流的to B IT門戶，同時在運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。同時運營19個IT行業公眾號(微信搜索D1net即可關注)

 

版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。