深度學(xué)習(xí)是人工智能的一種形式，它依賴于人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用。其重點(diǎn)是讓計(jì)算機(jī)能夠像人們那樣理解數(shù)字圖像、視頻、錄音等內(nèi)容。
然而，由于處理系統(tǒng)“深層次培訓(xùn)”所需的大量數(shù)據(jù)的后勤處理可能需要幾天甚至幾周的時間，所以很多潛在的深度學(xué)習(xí)仍然未能實(shí)現(xiàn)。其結(jié)果的準(zhǔn)確性是導(dǎo)致耗費(fèi)時間的另一個問題，因?yàn)橄到y(tǒng)需要多次訓(xùn)練才能獲得預(yù)期的結(jié)果。每次通過更高的準(zhǔn)確度意味著計(jì)算機(jī)必須“重新訓(xùn)練”的次數(shù)更少，直到它正確為止。
減少時間因素是困難的，因?yàn)橹恍柙黾痈嗟挠?jì)算能力和更快的處理器，而增加更多的處理器不會加快速度。其實(shí)恰恰相反：隨著“學(xué)習(xí)者”處理器數(shù)量的增加，計(jì)算時間會像預(yù)期的那樣減少，但是每個學(xué)習(xí)者的溝通時間保持不變。換句話說，是學(xué)習(xí)瓶頸阻礙了發(fā)展。
IBM公司在一份研究報(bào)告中解釋說：“成功的分布式深度學(xué)習(xí)需要一個基礎(chǔ)架構(gòu)，其中硬件和軟件被共同優(yōu)化，以平衡計(jì)算需求與通信需求和互連帶寬。”此外，通信延遲在GPU的大規(guī)模擴(kuò)展(100多個)中起著重要的作用。如果這些因素不受控制，分散式深度學(xué)習(xí)可以快速達(dá)到收益遞減的程度。”
這使得最深入的學(xué)習(xí)項(xiàng)目僅限于單服務(wù)器實(shí)現(xiàn)。IBM公司日前公布的研究和新軟件也將在這里發(fā)揮作用。該公司已經(jīng)學(xué)會了如何加快流程，獲得更準(zhǔn)確的結(jié)果。
IBM Research系統(tǒng)加速和內(nèi)存總監(jiān)Hillery Hunter在一篇博文中表示：“最受歡迎的深度學(xué)習(xí)框架擴(kuò)展到服務(wù)器中的多個GPU，而不是擴(kuò)展到具有GPU的多個服務(wù)器。具體來說，我們的團(tuán)隊(duì)編寫了軟件和算法，可以自動化并優(yōu)化這個非常大而復(fù)雜的計(jì)算任務(wù)的并行化，并將數(shù)百個GPU加速器連接到數(shù)十臺服務(wù)器上。”
在對軟件進(jìn)行測試時，IBM研究人員在部署Caffe深度學(xué)習(xí)框架時，實(shí)現(xiàn)了創(chuàng)記錄的通信開銷和95%的擴(kuò)展效率，該系列集成了64個IBM Power系統(tǒng)，每個系統(tǒng)連接4個NVidia Tesla P100-SXM2 GPU，總共256個處理器。這使得Facebook人工智能研究使用較小的學(xué)習(xí)模型和數(shù)據(jù)集展示了以前最佳的89%的擴(kuò)展比例，從而降低了復(fù)雜性。
此外，測試產(chǎn)生了一個識別圖像的神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集的750萬個圖像的準(zhǔn)確率為33.8%的記錄，打破了微軟公司公布的29.8%的準(zhǔn)確性記錄。
Hunter寫道：“IBM研究部門的團(tuán)隊(duì)一直致力于為大數(shù)據(jù)集減少大型模型的訓(xùn)練時間。我們的目標(biāo)是將深入學(xué)習(xí)訓(xùn)練的等待時間從數(shù)天或數(shù)小時縮短到幾分鐘或幾秒鐘，從而提高這些人工智能模型的精確度。為了實(shí)現(xiàn)這一目標(biāo)，我們正在處理在大量服務(wù)器和GPU中分布式深度學(xué)習(xí)的大規(guī)模的問題。“
Hunter和她的團(tuán)隊(duì)在加速這一過程中已經(jīng)取得了很大的成績——只用了七個小時就完成了測試。
“微軟花了10天的時間來訓(xùn)練同樣的模式，”她提到了以前的行業(yè)記錄，“這一成就需要我們創(chuàng)建分布式深度學(xué)習(xí)代碼和算法來克服擴(kuò)展這些強(qiáng)大的深度學(xué)習(xí)框架所固有的問題。”
IBM研究開發(fā)的分布式深度學(xué)習(xí)軟件測試版本或技術(shù)預(yù)覽，日前已在IBM PowerAI 4.0中開始使用，使開發(fā)人員可以使用深入學(xué)習(xí)培訓(xùn)人工智能模型實(shí)現(xiàn)集群擴(kuò)展功能。
“我們預(yù)計(jì)，通過將此DDL功能提供給人工智能社區(qū)，我們將會看到更多更高的精度運(yùn)行，因?yàn)槠渌死眉旱牧α窟M(jìn)行人工智能模型的訓(xùn)練。”Hunter說。
京公網(wǎng)安備 11010502049343號