12月1日,在亞馬遜云科技re:Invent全球大會上,亞馬遜云科技宣布推出三款由自研芯片支持的新Amazon Elastic Compute Cloud (Amazon EC2)實例,幫助客戶顯著提升在Amazon EC2上運行的工作負載的性能、成本和能源效率。新C7g 實例由Amazon Graviton3 處理器支持,與由 Amazon Graviton2 處理器支持的當前一代 C6g 實例相比,性能提高25%。由Amazon Trainium芯片支持的新Trn1實例為在Amazon EC2中訓練絕大多數機器學習模型提供最佳性價比,及最快的訓練速度。基于自研Amazon Nitro SSDs(固態驅動器)的新存儲優化型Im4gn/Is4gen/ I4i實例為在Amazon EC2上運行的I/O密集型工作負載提供最佳存儲性能。這些基于亞馬遜云科技自研芯片的新Amazon EC2實例的發布,將幫助客戶支持其關鍵業務應用程序。
亞馬遜云科技Amazon EC2副總裁David Brown表示:“我們對自研芯片的持續投入升級,已經讓客戶在當今一些關鍵工作負載中獲得了巨大的性價比優勢。客戶希望我們在每一代新的EC2實例上不斷突破邊界。亞馬遜云科技的持續創新讓客戶有機會使用這些全新的、改變游戲規則的實例運行其重要的工作負載,獲得更好的性價比。”
C7g實例由新的Amazon Graviton3處理器支持,與由Amazon Graviton2處理器支持的當前一代C6g實例相比,性能提高多達25%
基于Amazon Graviton2的計算實例自2020年推出以來,被眾多客戶如DirecTV、Discovery、Epic Games、Formula 1、Honeycomb.io、Intuit、Lyft、MercardoLibre、NextRoll、Nielsen、SmugMug、Snap、Splunk和Sprinklr等在生產中使用并已經獲得顯著的性能提升和成本節省。基于Graviton2的系列實例共有12種,包括通用型、計算優化型、內存優化型、存儲優化型、突發性能型和加速計算型實例,讓客戶擁有云上至深至廣的計算選擇,并兼顧性價比和能效。隨著客戶在云中開展更多計算密集型工作負載如高性能計算(HPC)、游戲和機器學習推理,相應的計算、存儲、內存和網絡需求也隨之增長,客戶需要尋求更佳的性價比和能效來運行這些工作負載。
由Amazon Graviton3處理器支持的C7g實例與由 Graviton2 處理器支持的當前一代 C6g 實例相比,可將計算密集型工作負載性能提高多達25%。Amazon Graviton3處理器與Graviton2相比,為科學計算、機器學習和媒體編碼工作負載提供高達2倍的浮點運算性能,為加密工作負載速度提升高達2倍,為機器學習工作負載提供高達3倍的性能。Amazon Graviton3處理器的能效也更高,在相同性能下,與同類型EC2實例對比,可節省高達60%的能源消耗。C7g實例是云中第一個采用最新DDR5內存的實例,與基于Amazon Graviton2的實例相比,它提高了50%的內存帶寬,從而提高了科學計算等內存密集型應用的性能。與基于Amazon Graviton2的實例相比,C7g實例的網絡帶寬也高出20%。C7g 實例支持 Elastic Fabric Adapter (EFA),允許應用程序直接與網絡接口卡通信,提供更低且更一致的延遲,提高需要大規模并行處理(如 HPC 和視頻編碼)的應用程序的性能。C7g實例現已提供預覽版。
?由Amazon Trainium芯片支持的Trn1實例為在Amazon EC2中訓練絕大多數機器學習模型提供最佳性價比,及最快的訓練速度
越來越多客戶正在構建、訓練和部署機器學習模型,支持能夠重塑其業務和客戶體驗的應用程序。為了確保提高準確性,這些機器學習模型必須構建在越來越多的訓練數據上,導致其訓練成本越來越高。這可能會限制客戶能夠部署的機器學習模型數量。亞馬遜云科技為機器學習提供至深至廣的計算服務選擇,包括采用NVIDIA A100 Tensor Core GPU的EC2 P4d實例和采用Habana Labs Gaudi 加速器的 EC2 DL1 實例。但是,即使擁有當今最快的加速實例,訓練持續變大的機器學習模型仍然是非常昂貴和耗時的。
由Amazon Trainium芯片支持的Trn1實例為在Amazon EC2中進行深度學習模型訓練提供最佳性價比以及最快的訓練速度,與P4d實例相比,通過Trn1實例訓練深度學習模型的成本降低多達40%。Trn1實例提供800Gbps EFA網絡帶寬(比最新基于GPU的EC2實例高兩倍),并與Amazon FSx for Lustre高性能存儲集成,讓客戶可以啟動具有EC2 UltraClusters功能的Trn1實例。通過EC2 UltraClusters,開發人員可以將機器學習訓練擴展到一萬多個與 PB 級網絡互連的 Trainium 加速器,讓客戶按需訪問超算級性能,即便是最大型和最復雜的模型,訓練時間也可以從幾個月縮短到幾天。Trn1實例現已提供預覽版。
采用全新Amazon Nitro SSDs的Im4gn/Is4gen/ I4i實例可為I/O密集型工作負載提供最佳存儲性能
如今,客戶將I3/I3en存儲優化型實例用于需要直接訪問本地存儲數據集的應用程序,比如橫向擴展的事務型和關系型數據庫(如MySOL和PostgreSQL),NoSQL數據庫(如Cassandra、MongoDB、Redis等),大數據(如Hadoop)和數據分析工作負載(如Spark、Hive、Presto等)。I3/I3en實例以低成本提供非易失性內存標準(NVMe) SSD支持的實例存儲,針對低延遲、高 I/O 性能和吞吐量進行了優化。客戶喜歡I3/I3en實例提供的快速事務處理能力,但隨著其工作負載的不斷升級——在更大規模的數據集上處理更復雜的事務,他們需要在不增加成本的情況下獲得更高的計算性能和更快的數據訪問速度。
Im4gn/Is4gen/I4i實例旨在通過架構最大限度提高I/O密集型工作負載的存儲性能。通過自研的 Amazon Nitro SSDs ,Im4gn/Is4gen/I4i實例提供高達 30 TB 的 NVMe 存儲,與上一代I3實例相比,I/O 延遲降低了 60%,延遲可變性降低了 75%,從而最大限度地提高了應用程序性能。Amazon Nitro SSDs通過優化存儲堆棧、虛擬化管理程序和硬件與Amazon Nitro 系統緊密集成。與使用商用SSD相比,亞馬遜云科技同時管理Amazon Nitro SSDs的硬件和固件,使SSD更新交付速度更快,讓客戶可以從改進的功能中獲益。Im4gn 實例(現已可用)采用 Amazon Graviton2 處理器,與 I3 實例相比,性價比提高多達 40%,每 TB存儲成本降低多達 44%。Is4gen 實例(現已可用)也采用 Amazon Graviton2 處理器,與 I3en 實例相比,每 TB 存儲成本降低多達 15%,計算性能提高多達 48%。開始使用Im4gn/Is4gn實例,請訪問aws.amazon.com/ec2/instance-types/i4g。I4i實例(即將可用)采用英特爾第三代可擴展處理器(Ice Lake),與當前一代 I3 實例相比,計算性能提高多達 55%。
SAP HANA是世界領先的內存數據庫,是SAP業務技術平臺的基礎。SAP HANA數據庫與分析總裁Irfan Khan表示:“過去十年中,SAP HANA幫助客戶管理他們最關鍵的事務和分析工作負載。亞馬遜云科技在基于ARM的Amazon Graviton處理器的持續投入與創新,與亞馬遜云科技的合作帶來諸多可能,為我們的企業客戶和SAP HANA云支持的SAP云分析和數據管理解決方案帶來了顯著的運營效率和性能提升。”
Twitter承載著當前正在發生和人們正在討論的事情。Twitter平臺主管Nick Tornow表示:“Twitter正在進行一個為期多年的項目,利用基于Amazon Graviton處理器的Amazon EC2實例來提供Twitter時間線。為進一步提高效率,我們測試了新的基于Amazon Graviton3處理器的C7g實例。在一系列可以代表Twitter工作負載性能的基準測試中,我們發現基于Amazon Graviton3處理器的C7g實例與基于Amazon Graviton2處理器的C6g實例相比,可將性能提高20%-80%,同時還將尾部延遲減少多達35%。我們非常高興并期待利用基于Amazon Graviton3處理器的實例獲得更好的性價比。”
一級方程式(F1)賽車始于1950年,是世界上最負盛名的賽車比賽,也是全球最受歡迎的年度體育賽事。“基于Amazon Graviton2處理器的C6g實例已經為我們的一些CFD(計算流體仿真力學)工作負載提供了最佳性價比。現在,我們發現在同樣的模擬中,基于Graviton3的 C7g實例比基于Graviton2的 C6g實例快40%。”一級方程式管理首席技術官Pat Symonds表示:“我們很高興EFA將在這種實例類型中標配。基于Graviton3的實例在性價比方面的優越表現,我們期待它成為運行所有CFD工作負載的最佳選擇。”
Epic Games創立于1991年,是Fortnite、Unreal、Gears of War、Shadow Complex和Infinity Blade系列游戲的創造者。Epic的Unreal Engine技術為PC、主機、手機、AR、VR和Web帶來了高保真、交互式的體驗。Epic Games高級工程總監Mark Imbriaco表示:“當我們展望未來,為玩家構建更加引人入勝的沉浸式體驗時,我們很高興使用基于Amazon Gravtion3處理器的EC2實例。我們的測試表明,它們甚至適用于要求最嚴苛、延遲敏感度最高的工作負載,同時提供卓越的性價比,提升了《堡壘之夜》和任何基于虛擬引擎創造的游戲體驗。”
Honeycomb開發了一個可視化平臺,讓工程團隊可以可視化、分析和改善云應用程序的質量和性能。“我們很高興能夠基于Amazon Graviton3的預覽實例測試我們的高吞吐遙感攝取工作負載。” honeycomb.io首席開發者布道師Liz Fong-Jones表示:“在處理相同工作負載的情況下,我們運行的C7g實例比C6g少30%,延遲降低了30%。我們期待在Amazon Graviton3的C7g實例正式可用后盡快投入到我們的生產環境中。”
Meta AI專注于將人們與其關心的事物聯系起來,提供有意義且安全的體驗,推進機器學習并指導開放研究。Meta AI PyTorch工程高級總監Lin Qiao表示:“PyTorch開發人員不斷創新,以提高深度學習模型的準確性,并找到更好的方法解決問題。同時,這些模型的規模呈指數級增長,這讓訓練它們變得更加困難,成本更高。我們的PyTorch團隊一直在與Amazon Neuron團隊合作,為易用性和性能設定了一個高標準,確保在PyTorch中為Trainium等加速器提供原生支持。這其中包括研究集體計算原語,以及為擴展性能和分布式訓練設置適當的基礎。我們期待與亞馬遜云科技合作,將Trainium與PyTorch原生產品(如eager mode和dynamic shapes)進行更多集成。”
Anthropic構建了可靠、可解釋和可操控的人工智能系統,這些系統將有機會為商業和公共利益創造價值。Anthropic聯合創始人Tom Brown表示:“我們的研究興趣橫跨多個領域,包括自然語言、人工反饋、縮放定律、強化學習、代碼生成和可解釋性。我們成功的一個關鍵是利用現代基礎設施,讓我們可以啟動超大高性能深度學習加速器的集群。 我們期待使用Amazon Trainium芯片支持的Trn1實例,因為它們具有前所未有的能力,可以擴展到上萬個節點,還有更高的網絡帶寬,這將讓我們可以在控制成本的同時更快地迭代。”
Splunk是領先的數據平臺提供商,旨在調查、監控、分析和處理任何規模的數據。Splunk云平臺和基礎設施副總裁Brad Murphy表示:“我們運行基于C/C++的工作負載來索引和搜索事件數據。我們的工作負載受CPU限制,并受益于高容量和低延遲的SSD存儲。在評估由Amazon Graviton2支持的新Im4gn/Is4gen實例時,我們觀察到,與當前使用的I3/I3en實例相比,搜索運行時間減少了50%。Im4gn和Is4gen實例成為運行我們存儲密集型工作負載的絕佳選擇,性價比顯著提升且TCO更低。”
Sprinklr通過 30 多個數字化渠道幫助全球大型企業提升客戶滿意度——使用為企業構建的先進、復雜的人工智能引擎來創建洞察力驅動的策略,創造更優秀的客戶體驗。“我們在由Amazon Graviton2處理器支持的Amazon EC2 Im4gn/Is4gen實例上對基于Java的搜索工作負載進行了基準測試。與較大的I3en實例相比,較小的 Is4gen 實例就能提供相似的性能,這意味著有機會顯著降低TCO。” Sprinklr工程副總裁Abhay Bansal表示:“我們在將工作負載從I3實例遷移到Im4gn實例時,還發現查詢延遲顯著降低,多達50%,性價比提升40%。遷移到基于Amazon Graviton2的實例很容易,完成基準測試需要兩周時間。我們對已有的經驗感到非常滿意,并期待基于Im4gn和Is4gen實例在生產環境中運行這些工作負載。”
Redis Enterprise通過幫助軟件團隊為實時世界創建高性能數據層,為全球超過8000個組織提供關鍵任務應用程序和服務。Redis聯合創始人兼首席技術官Yiftach Shoolman表示:“我們非常高興看到,全新低延遲Amazon Nitro SSDs的Amazon EC2 I4i實例提供比上一代實例更快的交易速度。我們預計I4i實例更強的存儲性能和更快的網絡和處理器速度將為我們那些基于I4i實例使用Redis-on-Flash的客戶帶來顯著改善,獲得更具吸引力的TCO。”