需求背景
人工智能神經網絡是一個通過使用互連單元以類似人腦的方式來處理信息的一種人工智能。人工智能神經網絡可用來執行復雜任務,如在語音識別中,需要重要步驟來訓練算法來為不同單詞等輸入進行分類。
盡管神經網絡處理通常在傳統計算機進行,但在設計神經網絡計算專用硬件上也投入了巨大精力。以光器件實現對人工神經網絡的訓練獲得了大量關注,因為其能夠使用比電子器件更少的能量及并行方式執行計算。
論文的第一作者Tyler W. Hughes說:“使用一個物理器件而不是一個計算機模型來進行訓練,可使訓練過程更加精確。而且,因為訓練是實現神經網絡的一個高計算密集型過程,以光學方式執行該過程是改進人工智能網絡計算效率、速度、功耗的關鍵。”
雖然光人工神經網絡最近以實驗方式進行了展示,但訓練步驟使用的仍是在傳統數字計算機上的模型,然后將最后的設置輸入到光電電路中。
核心進展
在此次進展中,研究人員設計了一款能夠復制傳統計算機訓練神經網絡方法的光芯片,克服了實現一個全光神經網絡所面臨的重大挑戰。
一個人工神經網絡可以被認為是一個帶有很多旋鈕的黑盒子。在訓練階段,這些旋鈕轉動一點,然后對整個系統進行測試,看看算法的性能是否改進了。Hughes說:“我們的方法不僅能夠幫助預測旋鈕轉動的方向,還能預測每個旋鈕應該旋轉多少以盡可能獲得想要的性能。我們的方法能夠顯著加速訓練,尤其是大的網絡,因為我們并行地獲得每個旋鈕的信息。”
成果展示
研究人員已經展示了可使用一個光芯片(圖中藍色長方形區域)來訓練一個神經網絡。在完整網絡中,有幾個這樣的光芯片連接到一起。激光輸入(綠色)對信息進行編碼,然后由光電波導(黑色)傳過芯片。芯片使用可調分光器執行對人工神經網絡關鍵的操作,這些通過波導中的彎曲部分來表現,耦合兩個相鄰的波導,通過調整光移相器的設置來調整(紅色和藍色閃光部分),它像“旋鈕”一樣工作,在訓練過程中調整來執行給定的任務。(圖片來源:Tyler W. Hughes, Stanford University)
過程說明
新的訓練協議在帶有可調分光器的光電電路上運行,這些分光器可通過改變光移相器來改變設置。激光編碼信息傳遞到光芯片進行處理,并由光波導傳遞通過分光器,這些分光器像旋鈕一樣調整來訓練神經網絡算法。
在新的訓練協議中,激光首先通過光芯片。當離開器件時,就可計算出與預期輸出的差異。然后使用該信息來產生新的光信號,這個信號然后以相反的方向送回并穿過光電網絡。通過測量在這個過程中每一個分光器的光電密度,研究人員展示了對神經網絡性能的并行測量是如何根據每個分光器設置發生改變。移相器設置能夠基于該信息發生改變,該過程將重復進行直到神經網絡產生所需的輸出。
結果測試
研究人員使用一個光電仿真測試了他們的訓練技術——教一個算法來執行復雜功能,例如在一套點中挑選復雜特性。他們發現光實現過程的性能可與傳統電子計算機一致。
意義及下一步工作
研究團隊領導者、斯坦發大學的Shanhui Fan說:“使用光電芯片來執行神經網絡計算比數字計算機可能實現的效率更高,可以實現更復雜的問題得到解決。這將提高人工神經網絡執行特定任務的能力,如自動駕駛汽車或對一個發問給出合適的答案。他將以我們現在無法想象的方式來改進我們的生活。我們的工作展示了能夠使用物理學來實現計算機科學算法。通過在光學域訓練這些網絡,顯示了光神經網絡能夠用于實現只用光自身就可實現的某種功能。”
研究人員計劃進一步優化網絡,并打算使用其來實現神經網絡任務的實際應用。他們設計的通用方法可用于多種神經網絡架構,并且用于可配置光電器件等其他應用。