領先的AI公司Anthropic于周二推出了全新的Message Batches API，允許企業以一半的標準API調用成本處理大量數據。
這一新產品能夠在24小時內異步處理多達10000個查詢，標志著在大數據處理方面，先進AI模型變得更加經濟實惠，尤其適用于處理大量數據的企業。
AI的規模經濟：批處理降低成本
與實時處理相比，Batch API在輸入和輸出代幣上提供了50%的折扣，使Anthropic能夠與其他AI提供商(如今年早些時候推出類似批處理功能的OpenAI)展開更加激烈的競爭。
此舉標志著AI行業定價策略的重大轉變。通過提供大批量處理的折扣，Anthropic有效地為AI計算創建了規模經濟。
這可能會推動中型企業更廣泛地采用AI，尤其是那些之前因成本過高而無法使用大規模AI應用的企業。
這種定價模式的影響不僅限于成本節省，它可能從根本上改變企業進行數據分析的方式，促使企業進行更多的全面、頻繁的大規模分析，而這些分析在過去被認為成本過高或資源密集。
從實時到合適時機：重新定義AI處理需求
Anthropic已經通過其API為Claude 3.5 Sonnet、Claude 3 Opus和Claude 3 Haiku模型提供批處理API服務。Claude在Google Cloud的Vertex AI上的支持也即將推出，而通過Amazon Bedrock使用Claude的客戶已經可以訪問批量推理功能。
批處理功能的引入表明企業AI需求的逐漸成熟。雖然實時處理是許多AI開發的重點，但許多業務應用并不需要即時結果。通過提供較慢但更具成本效益的選項，Anthropic承認對許多應用場景來說，“合適時機”的處理比實時處理更為重要。
這一變化可能促使企業在AI實施中采取更為細致的策略。企業不再默認選擇最快(通常也是最昂貴)的選項，而是可能會開始在實時處理和批處理之間戰略性地平衡其AI工作負載，優化成本和速度的雙重需求。
批處理的雙刃劍
盡管批處理帶來了顯著的好處，但這種轉向也引發了關于AI發展未來方向的重要問題。雖然它使現有模型變得更加易于獲取，但也存在一個風險：可能會分散資源和注意力，影響實時AI能力的進步。
在技術領域，成本與速度的權衡并不新鮮，但在AI領域，這種權衡則具有更大的意義。隨著企業習慣于批處理的低成本，市場上對提高實時AI處理效率和降低成本的壓力可能會減少。
此外，批處理的異步性質可能限制一些依賴即時AI響應的創新應用，例如實時決策或交互式AI助手。
如何在推動批處理和實時處理能力的同時找到合適的平衡，將對AI生態系統的健康發展至關重要。
隨著AI行業的不斷發展，Anthropic的新Batch API既代表了一個機遇，也帶來了挑戰，它為企業在大規模使用AI提供了新的可能性，有望讓更多企業能夠接觸到先進的AI能力。
與此同時，這也強調了在AI開發中采取深思熟慮的方法的重要性，不僅要考慮眼前的成本節約，還要著眼于長期創新和多樣化的應用場景。
這個新產品的成功可能取決于企業如何將批處理融入其現有工作流程，以及它們在AI戰略中如何有效平衡成本、速度和計算能力的權衡。
企業網D1net(hfnxjk.com)：
國內主流的to B IT門戶，旗下運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。旗下運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號