直到本世紀初，研究人員才意識到，為視頻游戲設計的GPU(圖形處理單元)可以被用作硬件加速器，以運行比以前更大的神經(jīng)網(wǎng)絡。
這要歸功于這些芯片能夠并行進行大量計算，而不是像傳統(tǒng)CPU那樣按順序處理它們。這對于同時計算構(gòu)成深度學習神經(jīng)網(wǎng)絡的數(shù)百個神經(jīng)元的權(quán)重特別有用。
GPU的引入使這一領(lǐng)域得到了發(fā)展，但這些芯片仍然需要將處理和存儲分開，這意味著大量的時間和精力都花在了兩者之間的數(shù)據(jù)傳輸上。這促使人們開始研究新的存儲技術(shù)，這些技術(shù)能夠存儲和處理同一位置的權(quán)重數(shù)據(jù)，從而提高速度和能源效率。
這種新的存儲設備通過調(diào)整它們的電阻水平，以模擬的形式存儲數(shù)據(jù)——也就是說，數(shù)據(jù)被存儲在一個連續(xù)的范圍內(nèi)，而不是數(shù)字存儲器的二進制1和0。因為信息存儲在存儲單元的電導中，所以可以簡單地在存儲單元間傳遞電壓并讓系統(tǒng)通過物理方法來進行計算。
但是這些設備固有的物理缺陷意味著它們的行為并不一致，這導致了目前使用它們來訓練神經(jīng)網(wǎng)絡的分類精度明顯低于使用GPU。
“我們可以在一個比GPU更快的系統(tǒng)上進行訓練，但如果訓練操作不那么準確，那是沒有用的，”領(lǐng)導該項目的IBM Research博士后研究員Stefano Ambrogio在接受Singularity Hub采訪時說，“到目前為止，還沒有證據(jù)表明使用這些新設備能像使用GPU一樣精確。”
但研究又有了新的進展。在上周發(fā)表在《自然》雜志上的一篇論文中，Ambrogio和他的同事們描述了他們是如何利用新興的模擬記憶和更傳統(tǒng)的電子元件組合來創(chuàng)造出一種芯片，這種芯片可以與GPU的精度相匹配，同時運行速度更快，能耗更少。
這些新的存儲技術(shù)難以訓練深層神經(jīng)網(wǎng)絡的原因是，這個過程需要將每個神經(jīng)元的權(quán)重進行上下數(shù)千次的刺激，直到網(wǎng)絡完全對齊。改變這些設備的電阻需要重新配置它們的原子結(jié)構(gòu)，而且每次的操作過程都不一樣，Ambrogio說。這些刺激并不總是完全相同，這導致了對神經(jīng)元權(quán)重的不精確的調(diào)整。
研究人員通過創(chuàng)造“突觸單元”來解決這個問題，這些“突觸單元”每一個都對應于網(wǎng)絡中的單個神經(jīng)元，同時具有長期和短期記憶。每個單元格由一對相變存儲器(PCM)單元和三個晶體管以及一個電容的組合構(gòu)成，PCM在電阻中存儲權(quán)重數(shù)據(jù)，電容將權(quán)重數(shù)據(jù)存儲為電荷。
PCM是一種“非易失性存儲器”，這意味著即使沒有外部電源，它也能保留存儲的信息，而電容器是“易失性的”，所以只能在幾毫秒內(nèi)保持它的電荷。但是電容器沒有PCM設備的可變性，因此可以快速而準確地編程。
當神經(jīng)網(wǎng)絡對圖像進行訓練以完成分類任務時，只有電容器的權(quán)重會被更新。在瀏覽到幾千張圖片后，權(quán)重數(shù)據(jù)會被轉(zhuǎn)移到PCM單元進行長期存儲。PCM的可變性意味著，權(quán)重數(shù)據(jù)的轉(zhuǎn)移仍然有可能包含錯誤，但是由于該單元只是偶爾更新，所以可以在不增加系統(tǒng)復雜性的情況下再次檢查電導。Ambrogio說，如果直接在PCM單元上進行訓練，這就不可行了。
為了測試他們的設備，研究人員對他們的網(wǎng)絡進行了一系列流行圖像識別的基準測試，結(jié)果達到了與谷歌領(lǐng)先的神經(jīng)網(wǎng)絡軟件TensorFlow相當?shù)木_度。但重要的是，他們預測，最終構(gòu)建出的芯片將比GPU的能效高280倍，而且在每平方毫米面積上實現(xiàn)的算力將達到CPU的100倍。值得注意的是，研究人員還沒有完全構(gòu)建出這一芯片。
雖然在測試中使用了真正的PCM單元，但其它組件是在計算機上模擬的。Ambrogio表示，他們希望在投入時間和精力打造完整的芯片之前，先檢查一下這種方法是否可行。他說，他們決定使用真正的PCM設備，因為對這些設備的模擬還不太可靠，但其它組件的模擬技術(shù)已經(jīng)很成熟了，他們有信心基于這個設計建立一個完整的芯片。
它目前也只能在全連接神經(jīng)網(wǎng)絡上與GPU競爭，在這個神經(jīng)網(wǎng)絡中，每個神經(jīng)元都與上一層的神經(jīng)元相連接，Ambrogio說。但實際上許多神經(jīng)網(wǎng)絡并沒有完全連接，或者只有某些層完全連接在一起。
但Ambrogio說，最終的芯片將被設計成可以與GPU合作的形式，從而在處理其它連接時也能夠處理全連接層的計算。他還認為，這種處理全連接層的更有效的方法可以被更廣泛地應用。
這樣的專用芯片能夠使哪些事情成為可能?
Ambrogio說，有兩個主要的應用：一是將人工智能應用到個人設備上，二是使數(shù)據(jù)中心更加高效。后者是大型科技公司的一大擔憂，因為它們的服務器消耗了大量的電費。
如果直接在個人設備上應用人工智能，用戶就可以不必在云端分享他們的數(shù)據(jù)，從而增加隱私性，但Ambrogio說，更令人興奮的前景是人工智能的個性化。
他說：“在你的汽車或智能手機上應用這個神經(jīng)網(wǎng)絡，它們就能夠不斷地從你的經(jīng)驗中學習。”
“你的手機會專門針對你的聲音進行個性化，你的汽車也會根據(jù)你的習慣形成獨特的駕駛方式。”
京公網(wǎng)安備 11010502049343號