正如IBM的研究人員正在詳細介紹用于數字和模擬人工智能芯片的新人工智能方法。IBM自豪地宣稱,其數字AI芯片“首次成功地使用8位浮點數訓練了深度神經網絡(DNNs),同時在深度學習模型和數據集的頻譜上完全保持了準確性。”
另外,IBM的研究人員正在IEDM上展示一種模擬人工智能芯片,它使用8位精度的內存與投影相變內存相乘。
AI的GPU時代結束了
IBM大膽預測,GPU在人工智能領域的主導地位將終結。GPU能夠為圖形處理做很多并行矩陣乘法。這樣的矩陣乘法恰好是你需要用神經網絡做的事情。
移動到較低的精度
提高效率的一個途徑是降低人工智能處理所需的精度。
在人工智能中,神經網絡是當你展示一幅圖像或一個詞,我們問它是貓還是狗時,它說它是貓。如果這是正確的答案,你就不必關心中間的所有計算。
理想情況下,人工智能應該模仿人眼,這解釋了人工智能處理中精度下降的趨勢。
2015年,IBM Research發布了AI模型訓練推理的降精度方法,論文描述了一種針對傳統CMOS技術的新型數據流方法。IBM展示了經過16位精度訓練的模型,與經過32位精度訓練的模型相比,精度沒有損失。
從那時起IBM注意到,降低精度的方法很快被采納為行業標準,16位培訓和8位推斷現在已經很普遍,并刺激了創業公司和風險投資的爆炸式增長,用于降低基于精度的AI芯片,盡管出現了這種新趨勢,但由于需要保持模型的高精度,用數字表示小于16位的“訓練”幾乎是不可能的。