推理成本驟降
過去一年，前沿模型的成本穩步下降。過去兩年內，OpenAI表現最佳的大型語言模型(LLM)每百萬token的價格已經降低了200多倍。
推理成本下降的一個關鍵因素是競爭日益激烈。對于許多企業應用而言，大多數前沿模型都適用，因此很容易從一種模型切換到另一種，從而將競爭轉向定價。此外，加速器芯片和專用推理硬件的改進也使得AI實驗室能夠以更低的成本提供其模型。
為了利用這一趨勢，企業應當開始嘗試最先進的LLM，并圍繞其構建應用原型，即使當前成本較高。模型價格的持續下降意味著，許多此類應用將很快具備可擴展性。同時，模型的能力也在不斷提升，這意味著在相同的預算下，企業能做的事情比過去一年要多得多。
大型推理模型的崛起
OpenAI o1的發布在LLM領域掀起了一股新的創新浪潮。讓模型“思考”更長時間并審查其答案的趨勢，使得它們能夠解決以往單次推理調用無法解決的問題。盡管OpenAI尚未發布o1的詳細信息，但其令人印象深刻的能力已經在AI領域引發了一場新的競賽。如今，有許多開源模型復制了o1的推理能力，并將這一范式擴展到新領域，如回答開放式問題。
o1類模型(有時被稱為大型推理模型，LRM)的進展對未來可能有兩個重要影響。首先，鑒于LRM必須生成大量token來給出答案，我們可以預期硬件公司將更有動力開發具有更高token吞吐量的專用AI加速器。
其次，LRM有助于解決下一代語言模型的一個重要瓶頸：高質量訓練數據。已有報道稱，OpenAI正在使用o1為其下一代模型生成訓練示例。我們還可以預期，LRM將有助于催生新一代小型專用模型，這些模型將針對特定任務使用合成數據進行訓練。
為了利用這些發展，企業應當為實驗前沿LRM的潛在應用分配時間和預算。他們應當不斷測試前沿模型的極限，并思考如果下一代模型克服這些限制，將可能實現哪些類型的應用。結合推理成本的持續下降，LRM有望在來年解鎖許多新的應用。
Transformer替代品蓄勢待發
Transformer(LLM中使用的主要深度學習架構)的內存和計算瓶頸催生了一系列具有線性復雜度的替代模型。其中，狀態空間模型(SSM)是最受歡迎的架構，過去一年取得了許多進展。其他有前景的模型還包括液體神經網絡(LNN)，它們使用新的數學方程，用少得多的人工神經元和計算周期完成更多任務。
過去一年，研究人員和AI實驗室發布了純SSM模型以及結合Transformer和線性模型優勢的混合模型。盡管這些模型的性能尚未達到前沿的基于Transformer的模型水平，但它們正在迅速趕超，并且已經實現了數量級的更快速度和更高效率。如果該領域的進展持續下去，許多更簡單的LLM應用可以卸載到這些模型上，并在邊緣設備或本地服務器上運行，這樣企業就可以使用定制數據，而無需將其發送給第三方。
擴展定律的變化
LLM的擴展定律在不斷演變。2020年GPT-3的發布證明，擴展模型規模將繼續帶來令人印象深刻的結果，并使模型能夠執行它們未經明確訓練的任務。2022年，DeepMind發布了Chinchilla論文，為數據擴展定律設定了新的方向。Chinchilla證明，通過在比模型參數數量大數倍的海量數據集上訓練模型，可以繼續獲得改進。這一發展使得較小的模型能夠與擁有數百億參數的前沿模型相競爭。
如今，人們擔心這兩種擴展定律都即將達到極限。報告顯示，前沿實驗室在訓練更大模型方面的回報正在遞減。同時，訓練數據集已經增長到數十萬億token，獲取高質量數據的難度和成本也越來越高。
與此同時，LRM正在開辟一個新的方向：推理時間擴展。在模型和數據集大小失效的地方，我們或許可以通過讓模型運行更多推理周期并修正自己的錯誤來開拓新天地。
隨著2025年的到來，AI領域繼續以意想不到的方式發展，新的架構、推理能力和經濟模型正在重塑可能性。對于愿意嘗試和適應的企業而言，這些趨勢不僅代表著技術進步，更是我們利用AI解決現實世界問題方式的根本轉變。
企業網D1net(hfnxjk.com)：
國內主流的to B IT門戶，旗下運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。旗下運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號