據官方介紹,Inferentia定位于一款低成本、高性能、低延遲的機器學習推理(inference)芯片,支持TensorFlow、Apache MXNet和PyTorch深度學習框架,以及使用ONNX格式的模型。將于2019年下半年正式上市。
Andy Jassy表示,“我們認為可以通過Elastic Inference節省75%的運營成本,所以這是一個改變游戲的重大規則。”
根據官網介紹,每個Inferentia芯片提供高達幾百TOPS的算力,使復雜的模型能夠做出快速的預測。多個AWS Inferentia芯片可以一起使用來驅動,形成成千上萬的TOPS算力。
由此,亞馬遜云也成為谷歌、華為之后,第三家推出云端AI芯片的云服務廠商。
在云計算這條賽道上,亞馬遜AWS的市場份額一直遙遙領先,今年第三季度云業務營收高達66.8億美元,同比增長46%。亞馬遜云推出的云端AI芯片勢必會讓云服務市場競爭更為激烈。