該公司在一篇博客文章中宣布：“我們正在發布我們的大型語言模型Grok-1的基本模型和網絡架構，Grok-1是xAI從頭開始訓練的3140億參數混合專家模型。”

 

感興趣的人可以在Github的頁面上或通過鏈接下載Grok的代碼。

 

 

參數是指支配模型的權重和偏差——通常參數越多，模型就越先進、越復雜、越好用。Grok擁有3140億個參數，遠遠領先于開源競爭對手，如Meta的Llama 2(700億個參數)和Mistral 8x7B(120億個參數)。

 

Grok是在Apache許可2.0下開源的，該許可允許商業使用、修改和分發，盡管它不能被注冊為商標，用戶也不會獲得任何責任或保證，此外，他們必須復制原始許可證和版權聲明，并說明他們所做的更改。

 

Grok的體系結構于2023年10月使用JAX和Rust上的定制訓練堆棧開發，結合了神經網絡設計的創新方法，對于給定的令牌，該模型使用25%的權重，這一策略提高了其效率和效果。

 

Grok最初是在2023年11月發布的，當時它是一款專有或封閉源代碼的機型，到目前為止，它只能在馬斯克獨立但相關的社交網絡X(前身為Twitter)上使用，特別是通過X Premium+付費訂閱服務，費用為每月16美元或每年168美元。

 

然而，Grok的發布并不包括其訓練數據的完整語料庫，這對于使用模型并不重要，因為它已經經過了訓練，但它不允許用戶看到它從X上學到了什么——大概是X上的用戶文本帖子(xAI博客文章含糊地說它是“基于大量文本數據訓練的基礎模型，沒有針對任何特定任務進行微調”)。

 

它也不包括任何與X上可用的實時信息的掛鉤，馬斯克最初將其吹捧為Grok相對于其他LLM的主要屬性，為此，用戶仍需要在X上訂閱付費版本。

 

 

為了與OpenAI的ChatGPT競爭，馬斯克于2018年脫離OpenAI并創建了自己的大模型Grok。馬斯克將Grok定位為ChatGPT和其他領先的大語言模型的更幽默、更未經審查的版本，鑒于人們對人工智能審查的抱怨，以及谷歌Gemini令人尷尬的混亂圖像和可疑的意識形態立場(Gemini在至少一個例子中暗示，馬斯克的推文對社會的影響可能與納粹領導人Adolf Hitler一樣糟糕)，這一立場在更廣泛的用戶中重新變得有吸引力。當然，Gemini受到了馬斯克和其他有影響力的科技領袖的強烈批評，其中包括16z的聯合創始人和網絡先驅馬克·安德森。

 

Grok的開源顯然也是馬斯克在訴訟和對OpenAI的普遍批評中有益的意識形態立場，他最近起訴了OpenAI，指責他的前公司放棄了《創始協議》，轉而以非營利性組織的形式運營。OpenAI在輿論法庭上發布了為自己辯護的電子郵件，至少表明馬斯克知道并可能支持其轉向專有的營利性技術。

 

X上的人工智能社區已經對這一發布充滿了好奇和興奮，值得注意的是，技術界指出了該模型在前饋層中使用GeGLU，以及它的歸一化方法，就連OpenAI的員工也發帖表達了他們對該模型的興趣。

 

因此，Grok的發布可能會給所有其他大語言模型提供商，特別是其他競爭對手開源提供商帶來壓力，讓他們向用戶證明他們是多么的優越。

 

 

國內主流的to B IT門戶，同時在運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。同時運營19個IT行業公眾號(微信搜索D1net即可關注)。

 

版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。