AI和機器學習以及深度學習子集可用于極大地改善芯片內特定功能的控制和性能,它們能夠在現有設備之上分層,集成到新設計中,允許其應用于更大范圍的功能中。
AI提供了許多好處。其中:
它通過更稀疏的算法或數據壓縮來改變特定功能的準確性,從而增加了粒度,提高性能并降低功耗;
它提供了將數據作為模式進行處理的能力,有效地提高了計算的抽象級別并增加了軟件的密度;
它允許處理和存儲器的讀寫作為矩陣完成,并大大加快了這些操作。
但AI還需要重新思考數據如何在芯片中運行:應用于邊緣還是數據中心,因為無論在哪一方面,處理和存儲的數據量都是巨大的。
新的起點
從好的方面來說,AI提供了一種平衡高精度結果的方法,而不是使用更多精度更低的元素來實現足夠高的精度。在語音識別的情況下,精度遠不如在安全應用中的面部識別或自動駕駛車輛中的目標識別那么重要。人工智能帶來的是在特定應用程序需要時撥入這些結果的能力。
芯片中應運用AI,實際是關于數據的質量、數量和移動。這需要一種不同的方式來看待設計,包括團隊之間的協作。
“計算非常簡單,壓縮/解壓縮數據也簡單,但在內存中存儲和加載數據并不簡單,”Arm研究員 Jem Davies說,“要構建這些系統,你需要特定領域的專家,比如機器學習專家和一些優化以及性能方面的專家。”
他指出,機器學習可以影響系統中的所有內容,其中大部分都隱藏在視圖之外。
“有些是用戶看不見的,”Davies說,“它被用來改善電池壽命。在相機內也有運用的機器學習方法。“
人工智能最適用于神經形態方法和不同的記憶結構,其中,數據可以作為矩陣來處理。使工作最佳化需要遠遠超出處理器的架構。它需要在內存中來回傳輸大量數據,并且需要更改內存,以便可以從左到右和上下左右寫入和讀取數據。
“許多架構改進是軟件和硬件的結合,”Cadence音頻和語音IP產品營銷總監Gerard Andrews說,“這并不一定能提高各個處理器的整體性能,但它確實增加了功耗和內存效率。”
實際上,這使得軟件方面的設計具有更高的密度,并且加速了數據在內存中的移動。“我們看到的問題是內存不會有效縮小,而且識別錯誤率正在上升,”Andrews說,“我們正在探索算法的稀疏性,以降低功耗并提高性能。”
這只是觸及正在發生變化的表面,而這些變化正在迅速發生。
“內存子系統中發生的事情是不連續的,而且是和突然的,”Achronix的系統架構師Kent Orthner說,“由于需要大量數據管道,因此其開發了許多關于如何移動數據的架構。對于相對較淺的內存使用來說,這是一個巨大的障礙。“
正在探索減少數據流量的新方法之一是尖峰神經網絡。因此,它們不是一致地發射信號,而是像人腦中的信號一樣飆升。
AI風險和混亂
但是,AI也存在一定程度的風險,具體取決于應用和精確度。
過去電子系統的設計基于邏輯的完全可預測性,其中大部分都是硬連線的。AI將計算精度替換為可接受行為的分布。目前尚不清楚現有工具或方法是否會提供與設備在該分布范圍內相同的置信度,特別是在系統出現損壞或退化的情況下,以及檢測到任何異常行為的速度。
對于如何應用人工智能也存在一些困惑。目前,很多芯片并不是專門為人工智能開發的,它們都經過了修改和覆蓋,以更有效地利用人工智能。
總的來說,這符合人工智能的初衷,這項技術是在全行業競爭的背景下出現的,用以提高相同或更低功率的性能。
對于針對AI培訓或推理的芯片,或者針對利用AI功能的芯片內的處理器和加速器的芯片,一般的共識是使用不同的芯片架構可以實現幾個數量級。但它并不適用于所有情況,并且有許多變量,例如訓練數據的大小和值,可以使AI對某些應用程序無用。在其他情況下,性能提升100倍被認為是保守的。
Synopsys的戰略營銷經理Ron Lowman說:“應用程序和算法都存在挑戰,處理器和存儲器芯片也面臨著挑戰。這使得探索對于AI架構更為重要,而且這也是CCIX(加速器的高速緩存一致性互連)變得如此受歡迎的原因之一。越來越多的客戶正在尋求架構的探索。每個人都在努力建立新的架構來模仿大腦。”
此外,還有一種小型處理器,其與各種針對不同數據類型定制的新型加速器相關聯。并且,還存在很多關于數據壓縮和量化的工作。
“正在進行從32位浮點移動到8位浮點的工作,”Lowman說,“現在的問題是你是否可以采用單比特進行量化。”
量化涉及將大量輸入值映射到較小的輸出值集合,并且最大的擔憂是可接受的精度損失。通過足夠的傳感器或數據輸入,理論上可以最小化該錯誤率的影響,但這非常依賴于應用程序。
沿著這些方向的另一種方法涉及源同步,特別是對于數據中心中的AI芯片,這促使片上網絡拓撲發生變化。網絡中的所有目標都接收相同的數據,使用多播方法可以更有針對性地利用數據。
“通過多播,您可以對多個目的地進行一次寫入,”Arteris IP營銷副總裁Kurt Shuler說。
AI芯片的一個問題是它們往往非常大。“最大的問題是時鐘樹,”Shuler說,“這需要同步通信,因為如果你以異步方式處理通信,會占用很多區域。此外,更有可能在大芯片上出現路由擁塞。解決這個問題的方法是創建虛擬通道鏈接,這樣可以減少連線數量并通過一組線路共享通信。”
計劃過時
另一個部分涉及能夠與定期更新的算法保持同步,并影響將哪種處理器添加到使用AI的芯片中。其中每一個都會影響芯片內數據的移動以及用于該數據的處理器類型。
CPU和GPU主要通過軟件提供一些可編程性。 DSP和FPGA提供固件/硬件的可編程性。嵌入式FPGA將可編程性直接添加到SoC或多芯片封裝中。
選擇處理器類型也取決于終端市場應用。例如,對于汽車或工業環境中的安全關鍵應用,該技術將保持最新狀態,并且響應足以與道路上的其他車輛或工廠中的其他設備兼容。
eSilicon創新高級主管CarlosMacián表示,“當我們討論面向未來的問題時,問題不在于它是否有效。作為開拓者的TPU表明,可以實現數量級的改進。但是對于新的工作負載,如果沒有優化ASIC,你可能只會提高3倍。“
提高數據質量有助于解釋為什么算法變化如此之快以及為什么現場可升級性對于某些設備而言至關重要。但是這些更改也會對性能產生影響,如果不在硬件中添加一些可編程性,就無法對其進行說明。問題是可編程性有多大,因為可編程邏輯比調整到軟件的硬件慢得多。
結論
與許多其他半導體增長市場不同,AI是一種橫向技術。它可以應用于各種垂直市領域,并可用于為這些市場開發芯片。它還可用于使現有芯片更高效。
這僅僅是人工智能革命的開始,其影響已經非常顯著。隨著設計團隊越來越精通這項技術,將對他們如何設計芯片、這些芯片如何與其他芯片交互產生重大影響,并將為工具、硬件、軟件的開發人員創造新的機會,甚至可能提供全新的市場。