本文來自微信公眾號:caoz的夢囈(caozsay),作者:曹政,虎嗅獲授權(quán)發(fā)表。
警告,本文內(nèi)容大部分來自于網(wǎng)絡(luò)摘取和拼湊,少部分為個(gè)人觀點(diǎn)和整理,如讓您感到不適,非常抱歉,并煩請關(guān)閉本頁。
是的,公開了,豪取60連勝的圍棋AI Master就是Google的深度學(xué)習(xí)alpha go的升級版本。
但Google的深度學(xué)習(xí),可真的不止是圍棋系統(tǒng)。
我們看看,Google深度學(xué)習(xí)都做了什么?
首先,這是DeepMind 年底官方的總結(jié),網(wǎng)易新聞翻譯,原文摘錄如下:
我們相信智能程序能夠在從氣候到疑難雜癥組成的極其復(fù)雜、瞬息萬變的系統(tǒng)中,幫助我們發(fā)掘造福社會(huì)的新科學(xué)知識。為了實(shí)現(xiàn)這一點(diǎn),我們需要一個(gè)全能的學(xué)習(xí)系統(tǒng),它能夠從零開始建立自己對問題的理解,并用它的能力識別到那些可能會(huì)被人類忽略的模式和突破。這便是DeepMind長期研究任務(wù)的關(guān)注所在。
雖然我們距離實(shí)現(xiàn)接近人腦智能水平的目標(biāo)還差很遠(yuǎn),但2016年已是偉大的一年。我們在一些核心的潛在挑戰(zhàn)上取得令人振奮的進(jìn)展,并看到它給現(xiàn)實(shí)世界帶來的影響。
我們很高興看到AlphaGo代表項(xiàng)目組第二次榮登自然雜志封面。AlphaGo在古老的圍棋比賽中擊敗人類的世界冠軍李世乭。許多專家稱贊這一突破領(lǐng)先時(shí)代十年。其中最讓我們興奮的還是AlphaGo在比賽中所展現(xiàn)出來的創(chuàng)造性能力,某些棋步挑戰(zhàn)了千年的圍棋智慧。AlphaGo在圍棋上的表現(xiàn)給我們帶來新的見解和啟發(fā),期待在2017年AI可以掌握更多游戲和比賽。
在生成模型領(lǐng)域,我們也取得了有意義的進(jìn)展,打造了能夠自主設(shè)想結(jié)構(gòu)和場景的程序。在我們基于PixelCNN圖像模型的論文之后,我們關(guān)于WaveNet的論文展示了語音合成的新進(jìn)展。通過創(chuàng)建原始波形而非拼接錄音樣本實(shí)現(xiàn)了世界上最自然的語音合成。我們正準(zhǔn)備同谷歌一起將這一技術(shù)應(yīng)用到產(chǎn)品中去,并對改進(jìn)數(shù)百萬用戶的使用體驗(yàn)感到興奮。
另一個(gè)重要研究領(lǐng)域是記憶,特別是將神經(jīng)網(wǎng)絡(luò)的決策能力同其對復(fù)雜結(jié)構(gòu)化數(shù)據(jù)的儲(chǔ)存和推理能力相結(jié)合的挑戰(zhàn)。我們在差分神經(jīng)機(jī)上的工作——這是我們在十八個(gè)月內(nèi)第三篇登上《自然》的文章——描述了可以同時(shí)以神經(jīng)網(wǎng)絡(luò)和記憶數(shù)據(jù)計(jì)算機(jī)的模式進(jìn)行學(xué)習(xí)的模型。這些模型已經(jīng)能夠掌握如何回答諸如族譜圖和地鐵線路圖的數(shù)據(jù)結(jié)構(gòu)等問題。這些進(jìn)步讓我們距離使用AI在復(fù)雜數(shù)據(jù)集中進(jìn)行科學(xué)發(fā)現(xiàn)的目標(biāo)更近了一步。
除了擴(kuò)展這些系統(tǒng)的能力范圍,我們還投入了大量時(shí)間來改進(jìn)它們的學(xué)習(xí)方式。名為《用無監(jiān)督輔助任務(wù)進(jìn)行增強(qiáng)學(xué)習(xí)(Reinforcement Learning with Unsupervised Auxiliary Tasks)》的論文描述了將某些任務(wù)的學(xué)習(xí)速度提高一個(gè)數(shù)量級的方法。鑒于高品質(zhì)培訓(xùn)環(huán)境對客戶的重要性,我們向大家開放了我們頂級的DeepMind Lab研究環(huán)境,并與暴雪游戲合作,為《星際爭霸II》開發(fā)AI訓(xùn)練環(huán)境。
以上所述只不過是冰山一角。要了解更多,你可以參閱我們發(fā)表在Neuron、PNAS等頂級期刊上的論文,以及在ICLR、NIPS等機(jī)器學(xué)習(xí)會(huì)議上發(fā)表的論文。看到社區(qū)中的其他人已經(jīng)開始參照這些論文進(jìn)行建設(shè)是令人驚奇的。圍棋計(jì)算機(jī)程序在2016年下半年迎來復(fù)興,此外我們還見證了AI和機(jī)器學(xué)習(xí)適用領(lǐng)域的不斷擴(kuò)展。
研究給現(xiàn)實(shí)世界帶來的影響也同樣令人驚訝。我們谷歌數(shù)據(jù)中心的合作伙伴使用類似于AlphaGo的技術(shù)來開發(fā)數(shù)據(jù)中心冷卻的新方法,使得建筑能源效率提高了15%。如果這些技術(shù)可以被拓展應(yīng)用到其他大規(guī)模工業(yè)系統(tǒng)中去的話,將會(huì)產(chǎn)生巨大的環(huán)境和成本效益。我們與谷歌很多團(tuán)隊(duì)合作,將我們的前沿技術(shù)應(yīng)用在產(chǎn)品和基礎(chǔ)設(shè)施中,這只是一個(gè)其中例子。我們與英國兩家NHS醫(yī)療團(tuán)體合作將機(jī)器學(xué)習(xí)帶入醫(yī)療領(lǐng)域,探索如何使用技術(shù)實(shí)現(xiàn)更好的診斷和治療。還同另外兩家醫(yī)療團(tuán)體探索在移動(dòng)應(yīng)用和基礎(chǔ)設(shè)置上的應(yīng)用,以期改善臨床一線的護(hù)理?xiàng)l件。
科技的積極社會(huì)影響并不只是致力于解決現(xiàn)世問題,同時(shí)還涉及算法與模型的設(shè)計(jì)、培訓(xùn)和部署。我們還很榮幸地參與創(chuàng)建人工智能合作組織“Partnership on AI”。它致力于以非營利的方式將民間社會(huì)團(tuán)體和學(xué)術(shù)界領(lǐng)先的研究實(shí)驗(yàn)室聯(lián)系起來,有助于在算法透明度和安全性等領(lǐng)域的建設(shè)。通過促進(jìn)經(jīng)驗(yàn)和洞察力的多樣化,我們希望能夠幫助解決其中一些挑戰(zhàn),并尋找將社會(huì)目的置于AI社區(qū)價(jià)值核心的方法。
我們?nèi)匀皇且粋€(gè)處在發(fā)展前期的年輕公司,如果2017年里我們可以在以下這三個(gè)方面——算法突破、社會(huì)影響和道德最佳實(shí)踐——同時(shí)有所進(jìn)展,那么我們將以良好的姿態(tài)繼續(xù)給科學(xué)和世界作出貢獻(xiàn)。
但除此之外,仍然有一些值得我們注意,學(xué)習(xí)和研究的成果
1、開源的AI系統(tǒng)
昨天和一個(gè)游戲同行聊天,他們了解到已經(jīng)有游戲公司使用Google 開源AI,實(shí)現(xiàn)游戲中的模擬玩家(俗稱,陪玩機(jī)器人),極大節(jié)省了研發(fā)成本,并且比傳統(tǒng)研發(fā)的機(jī)器人表現(xiàn)更真實(shí)。
當(dāng)然,實(shí)話說,開源的不止DeepMind,以下是infoq舊文整理的內(nèi)容
2016年12月,F(xiàn)acebook宣布開源TorchCraft,讓每個(gè)人都能編寫出星際爭霸人工智能玩家Bot。
2016年9月,百度正式對外宣布推出其深度學(xué)習(xí)開源平臺(tái)PaddlePaddle。
2016年8月,F(xiàn)acebook開源了三款人工智能圖像分割(Image Segmentation)軟件,分別是DeepMask、SharpMask和MultiPathNet。
2016年7月,微軟AI平臺(tái)Project Malmo宣布開源。
2016年5月,亞馬遜在GitHub網(wǎng)站將其擅長訓(xùn)練稀疏數(shù)據(jù)的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)工具DSSTNE開源。
2016年4月,OpenAI開放其用于研發(fā)和比較強(qiáng)化學(xué)習(xí)算法的工具包GymOpenAI Gym。
2016年1月,百度硅谷人工智能實(shí)驗(yàn)室(SVAIL)宣布,開源其人工智能軟件 Warp-CTC。
現(xiàn)在的年輕人,如果有志于從事這個(gè)領(lǐng)域的技術(shù)發(fā)展,真的有太多資料可以參考,有太多成功的經(jīng)驗(yàn)可以借鑒。當(dāng)然,對技術(shù)理解力的要求也越來越高,我個(gè)人認(rèn)為,即便我年輕二十歲,估計(jì)也難以深入進(jìn)入這個(gè)領(lǐng)域,智商實(shí)在是硬傷。
2、TPU
今年6月Google開發(fā)者大會(huì)上,公開了一款用于AI幕后的秘密武器,TPU。
我們熟悉的是CPU,每臺(tái)電腦、每部手機(jī)的核心工作芯片,此外是GPU(圖像處理芯片),但GPU強(qiáng)大的浮點(diǎn)運(yùn)算能力并不只用于圖片處理,實(shí)際上隨著比特幣等區(qū)塊鏈技術(shù)的蓬勃發(fā)展,GPU在分布式計(jì)算上獲得了極大的市場空間。我前段時(shí)間分享過一個(gè)觀點(diǎn),很多顯卡廠家的業(yè)績增長,靠的不是電腦顯卡的訴求,而是比特幣挖礦的訴求。
所以,比特幣的價(jià)格波動(dòng),和顯卡市場的需求,我個(gè)人認(rèn)為,是存在正相關(guān)的。有興趣的可以分析一下幾個(gè)主要顯卡公司的財(cái)務(wù)報(bào)表看看。
而TPU則更近了一步。
一個(gè)簡單的個(gè)人理解是,CPU是基于完全通用的訴求,實(shí)現(xiàn)的通用處理架構(gòu),GPU則主要基于圖像處理的訴求,降低了一部分通用性,并針對核心邏輯做了一定的優(yōu)化,是一款準(zhǔn)通用的處理架構(gòu),以犧牲通用性為代價(jià),在特定場合擁有比CPU快得多的處理效率。而TPU,則針對更明確的目標(biāo)和處理邏輯,進(jìn)行更直接的硬件優(yōu)化,以徹底犧牲通用性為代價(jià),獲得在特定場合的極端效率。
所以,如果是CPU+GPU結(jié)構(gòu),AI系統(tǒng)無法獲得如此快速的學(xué)習(xí)能力和神經(jīng)網(wǎng)絡(luò)的處理效率,而TPU將這一切極大加速,并獲得了傳統(tǒng)CPU難以置信的處理效率。 這也是基于學(xué)習(xí)對方同樣的思路和算法策略,國產(chǎn)AI尚無法與Master相提并論的關(guān)鍵原因。
比TPU本身更可怕的是,Googl開始測試和線上運(yùn)營環(huán)境完成更新迭代一款TPU,只需要22天。這一說法來自于Google官方博客 。
擁有這樣的迭代效率,技術(shù)進(jìn)步的速度就會(huì)讓對手望塵莫及。
現(xiàn)在很多公眾號和知乎熱帖還在爭論,在AI系統(tǒng)里,算法重要還是數(shù)據(jù)重要,嗯,你芯片跟人家比落后七年(一些觀點(diǎn)說Google的TPU領(lǐng)先同行七年,暫時(shí)引用不做評判),你說什么重要。
3、量子計(jì)算機(jī)
這算是舊聞了,2015年的事情了,Google贊助了加拿大的D-Wave公司,目前全球唯一的商用量子計(jì)算機(jī)系統(tǒng),但去年一年似乎沒有看到任何新聞出來。
量子計(jì)算機(jī)被認(rèn)為是下一代突破性的計(jì)算機(jī)技術(shù),但目前確實(shí)還有很多技術(shù)障礙,而D-Wave的量子計(jì)算機(jī)系統(tǒng)也僅僅是徹底犧牲通用性,獲得某個(gè)特殊場合的極端效率,目前離可規(guī)模化商用還應(yīng)有一定距離,但是在這個(gè)領(lǐng)域一旦產(chǎn)生突破,對人類的發(fā)展,對AI的發(fā)展,會(huì)具有無限的想象空間。
想象一下,擁有一個(gè)比現(xiàn)在最快計(jì)算機(jī)快1億倍的計(jì)算設(shè)備,是什么感覺。
最后,這個(gè)爭論,算法重要還是數(shù)據(jù)重要?
沒有算法,數(shù)據(jù)再多也挖不出價(jià)值。沒有數(shù)據(jù),算法再好也找不到價(jià)值。
當(dāng)然,對于圍棋,自我對弈的確是一種數(shù)據(jù)積累方法,但:
第一,并不是所有領(lǐng)域都可以通過自我生成數(shù)據(jù),或者說絕大部分領(lǐng)域,數(shù)據(jù)不會(huì)憑空出現(xiàn);
第二,無視已有的,被證明過有價(jià)值的數(shù)據(jù)資源,是一種極大的資源浪費(fèi),而且缺乏有效數(shù)據(jù)時(shí),算法有可能會(huì)誤入歧途。
重申一下,深度學(xué)習(xí)并非萬能,很多策略和博弈具有明確的最優(yōu)解時(shí),使用深度學(xué)習(xí)純屬脫褲子放屁,多此一舉,現(xiàn)在很多人開始盲目追捧深度學(xué)習(xí),要用深度學(xué)習(xí)包治百病,或者認(rèn)為深度學(xué)習(xí)毫無破綻,都是非常莫名其妙的想法。
舊文分享:《深度學(xué)習(xí)并非最優(yōu)方案》
此外:
1、昨天人民幣突然暴漲,隔夜利率激增,央行不定期殺空,導(dǎo)致踩踏,這事挺有意思,嗯,坦白說,我也爆倉了,幸好玩的小。個(gè)人認(rèn)為,央行殺空只是為了控制節(jié)奏,防止提兌失控,但殺空之后,人民幣匯率依然處于下行空間。
2、比特幣突然暴漲,境內(nèi)外差價(jià)巨大,然后剛看到又暴跌下來。外匯市場和比特幣市場顯著聯(lián)動(dòng),有點(diǎn)意思。中間確實(shí)存在套利空間,但稍微操作不慎就可能踩空。投資需謹(jǐn)慎,多了解一下沒壞處。