來自微軟、Cray和瑞士國家超級計算中心（CSCS）的一組研究人員一直致力于一個旨在加速在超級計算機(jī)上使用深度學(xué)習(xí)算法的項目。
該團(tuán)隊已經(jīng)將微軟認(rèn)知工具包——一個用于培訓(xùn)深度計算算法的開源套件——擴(kuò)展到超過1000個Nvidia Tesla P100 GPU加速器部署在瑞士國家超級計算中心代號為Piz Daint的Cray XC50超級計算機(jī)上。
該項目讓研究人員可以在超級計算機(jī)上大規(guī)模運行更大、更復(fù)雜、多層的深度學(xué)習(xí)工作負(fù)載。
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個新興分支，利用多處理層來處理復(fù)雜問題。雖然研究人員希望運行更大規(guī)模的深度學(xué)習(xí)模型，但是傳統(tǒng)系統(tǒng)和架構(gòu)給問題的解決帶來了一定的局限性，因為培訓(xùn)模型的時間很長。
但是通過加速培訓(xùn)過程，而不是等待數(shù)周甚至是數(shù)月后才能得出結(jié)果，數(shù)據(jù)科學(xué)家可以在數(shù)小時甚至數(shù)分鐘內(nèi)獲得結(jié)果。這將幫助研究人員解決新的計算問題，例如從圖像識別升級到視頻識別，或者從語音識別到根據(jù)上下文的自然語言處理。
Cray表示，深度學(xué)習(xí)在算法方面和傳統(tǒng)運行在大規(guī)模并行超級計算機(jī)上的應(yīng)用是類似的，通過優(yōu)化節(jié)點間的通信，每個培訓(xùn)任務(wù)可以利用更多的計算資源，縮短培訓(xùn)單個模型所需的時間。
瑞士超級計算中心主任Thomas Chulthess教授說，這項工作意味著研究人員和科學(xué)家將能夠利用他們現(xiàn)有的Cray XC超級計算機(jī)解決那些“以前不可行的”深度學(xué)習(xí)問題。
京公網(wǎng)安備 11010502049343號