四年前,谷歌面臨一道難題,如果每個用戶每天都會花費三分鐘時間來使用語音識別服務的話,那么公司將不得不將數據中心規模再翻一倍,以便處理海量的語音數據和AI計算。
不過為了滿足這樣的需求,谷歌并沒有去建設更大的數據中心,而是轉為開發適用于AI計算的高性能轉用硬件。
最終,名為TPU(Tensor Processing Unit)的處理器誕生了,其是一種專門為加速深層神經網絡運算能力而研發的芯片。
今天,谷歌在一篇博文中提到了在TPU上所取得的一系列成績。
谷歌表示,相比類似的服務器級Intel Haswell CPU和NVIDIA K80 GPU,TPU在AI運算測試中的平均速度要快15-30倍。更重要的是,TPU的每瓦性能要比普通的GPU高出25-80倍。
谷歌數據中心自2015年以來一直在使用TPU來加速AI服務,而且首獲了理想的效果,其能夠更快的處理用戶發送的請求,降低結果反饋的延遲。
值得一提的是,谷歌認為現在的TPU仍在硬件和軟件方面存在很大的優化空間,比如假定用上了NVIDIA K80 GPU中的GDDR5內存,那么TPU就可以發揮出更好的性能。
此外,谷歌工程師還為TPU開發了名為CNN1的軟件,其可以讓TPU的運行速度比普通CPU高出70多倍!