谷歌DeepMind團隊在最新一期《Nature》上發表論文稱，他們研發的人工智能算法擊敗了歐洲圍棋冠軍Fan Hui，同時也擊敗了目前最好的圍棋程序中99.8%的對手。而幫助他們解決這個人工智能歷史難題的關鍵是使用了政策網絡（policy network）和價值網絡（value network）兩種深度神經網絡。而就在前一天，Facebook也在arXiv.org上更新了一篇用卷積神經網絡和蒙特卡洛樹搜索相結合來解決圍棋問題的新、論文。并且，公司人工智能實驗室負責人Yann LeCun在自己的FB主頁上針對谷歌和Facebook的研究發表了一段非常精彩的說明。
谷歌DeepMind團隊發表Nature封面論文，贏得圍棋人工智能挑戰
在邁向搭建具有更類似人類直覺的人工智能道路上，谷歌取得了出乎意料的輝煌一步；他們研發出能夠在極其復雜的圍棋游戲中擊敗專家級人類選手的計算機。他們將論文發表在了《Nature》上。
谷歌團隊已經表明，掌握圍棋所需技能并不為人類獨享。他們的一款叫做Alpha Go的計算機程序擊敗了歐洲圍棋冠軍Fan Hui，戰績為5:0。Alpha Go的下一個挑戰將是世界頂級圍棋選手之一，李世乭，比賽將于三月份在首爾舉行。
開發Alpha Go的團隊是Google的DeepMind，這是2014年Google在英國收購的一家很小的人工智能公司。這個團隊使用的是一種非常流行和成功的機器學習方法，叫做深度學習，同時還加上了另一種模擬技術來對潛在的步法進行建模。深度學習需要對一個大型的神經網絡進行訓練，使其對數據中的模式做出反應。事實還證明，它對圖像和音頻處理也十分有用。許多大型科技公司都在探索新方法來使用這種技術。
要想掌握圍棋，需要不斷實踐練習，也需要識別棋子布局中微妙模式的巧妙本事。
DeepMind團隊表示，Alpha Go的關鍵在于使用的深度神經網絡，實際上，在Alpha Go中有兩種不同的神經網絡，第一種叫做政策網絡（policy network），用來預測下一步；第二種叫做價值網絡（value network），用來預測棋盤上不同的分布會帶來什么不同的結果。Alpha Go使用它們的方法是，把非常復雜的搜索樹減少到可操作的規模。所以，它并不是在每一步都要考慮幾百種步數，而只考慮政策網絡提供的幾十種最有前景的步法，價值網絡的作用是減少搜索的深度，所以，它的搜索深度并不是特別深，它并不是一下子搜索出直達比賽末尾的300多步，而是搜索更少的步數，比如20多步，并評估這些位置，而不是一路評估到底，看誰最終能贏。搜索并不是靠蠻力，而是與某種與想象力很相似的東西。
領導這項研究的另一位Google研究者David Silver說：“圍棋有著巨大的搜索空間，用蠻力很難解決。Alpha Go的關鍵在于，將搜索空間縮小到可以操作的范圍。這個方法讓Alpha Go比以前的方法都更像人類。”
Demis Hassabis說，圍棋是人類發明的最復雜也是最美的游戲。通過戰勝Fan Hui，「我們的程序贏得了長期以來一項重大人工智能挑戰的勝利。而這項技術在Google的首個用途將是開發更好的個人助理軟件。這樣的個人助理能夠從用戶在線行為中學習用戶偏好，并對產品和事件作出更符合直覺的建議。
Hassabis還說道，他們用來創造Alpha Go的技術，也正是他的團隊努力開發強人工智能的嘗試。他說：“最終，我們想要將這些技術應用到真實世界的重要問題中。因為我們用的方法是通用的，我們希望有一天，它們能延伸得更廣，幫助解決最緊迫的社會問題，從醫藥診斷到環境模型。”
實際上在幾年前，大多數圍棋選手和棋類程序員都相信，圍棋實在是太困難了，必須要花上幾十年的時間，計算機才能達到人類專業棋手的標準水平。對計算機來說，圍棋比象棋的挑戰更大，原因有二：每個回合可能存在的走法數量多得多，沒有一個簡單的方法來測算優勢。所以，棋手只能學著在棋盤上幾百個棋子中識別出抽象模式。即使是專家也經常會很難解釋為什么一步棋看起來很有優勢或有問題。
眾專家的評價
1997年，當IBM深藍計算機在象棋上稱霸時，它使用的是手工編碼的規則，在搜索時將窮盡所有可能發生的步法。Alpha Go從本質上則是隨著時間而學習的，可以識別出可能具有優勢的模式，然后模擬出數量有限的潛在結果。
Google的成就受到了廣泛的祝賀，也引起了許多本領域研究者的驚訝。
新成立的非營利性組織OpenAI的AI研究者Ilya Sutskever說：“從技術的角度說，這個研究對AI具有紀念碑式的貢獻。”他說，這個成果非常重要，因為Alpha Go從本質上教會了自己如何贏得比賽。“同樣的技術也可以用于其他棋類游戲中，以獲得高超表現。”
加拿大阿爾伯塔大學的計算機科學教授Michael Bowling最近開發了一個能在撲克牌上贏過人類的程序。他聽到這個消息也很興奮。他相信，這個方法在許多可以運用機器學習的領域都很有用。他說：“許多我們通常認為是人類智能的東西其實都構建于模式匹配上。許多被我們看做學習的東西，其實都是在過去看到了某些模式，然后意識到它們與現在的狀況有何聯系。”
紐約大學認知教授Gary Marcus說：“這不是所謂的端對端深度學習系統。而是精心建構的模塊化系統，在前端具有一些縝密的手工操作，也就是說，幾乎媲美人類心智：豐富，模塊化，通過演化做出些微調整，而不僅僅是一束隨機互聯的神經元，完全通過經驗做出調整。”
Facebook不甘示弱：提前發表論文，LeCun精彩回應
而就在國外媒體對谷歌這篇論文進行大規模報道之前，Facebook人工智能實驗室（以下簡稱FAIR）負責人Yann LeCun也非常“巧合”地在自己Facebook主頁貼出了Facebook剛剛發表在arXiv.org的一篇針對圍棋問題的論文，還意味深長的從圍棋問題的歷史、相關技術、Facebook研究進展等方面進行了詳細說明。
首先，Yann LeCun解釋了我們為什么要研究圍棋？他說，作為一項非常困難的任務，圍棋是一個很好的案例來驗證各種學習技能的結合，包括模式識別、問題解決和規劃等，也是一個可以用來測試新想法的工具，包括機器學習、推理和規劃的結合。
Yann LeCun說，Facebook FAIR的一位科學家Yuandong在幾個月前開始獨立研究圍棋項目，他開發了一款叫做「黑暗森林」的機器人。根據論文中的描述，最新版機器人將卷積神經網絡和目前圍棋機器人的經典方法——蒙特卡洛樹搜索進行了有機結合。
此前，曾在2014年東京圍棋擂臺賽上通過讓子以微弱優勢戰勝人類棋手的Crazy Stone就是依賴于蒙特卡洛樹搜索，這是一套能夠從本質上對每一步走法的所有結果都進行分析的系統。所以，有些機器能夠非常精通西洋棋、國際象棋和其他棋類。它們比人類棋手看的更遠，所以能夠輕松的擊敗他們。但圍棋不是這樣，下圍棋有太多的可能性需要考慮。在國際象棋的任何一個回合，平均可能的走法有35種。但圍棋的走法卻能達到250種。并且在這250種可能的走法之后，還對應著另外250種可能，以此類推。因此，用蒙特卡洛數搜索去計算每一步走法所帶來的所有結果是不可能的。
從Facebook的研究成果可以看出，通過將訓練過的卷積神經網絡和蒙特卡洛樹搜索的結合，我們可以在模式匹配功能上再加入策略評估這個新功能。這也將有益于游戲之外的其他應用，比如說自然語言生成，在回復中能夠加上自發性和多樣性，同時也能進行推理，而推理所需要的就是搜索可能的答案并挑選出最優的邏輯鏈。我們的興趣并不在于要開發出世界上最好的圍棋選手，但這是我們人工智能研究進展的一次有趣練習。
從去年11月起，DarkForest就已經在公開的圍棋服務器KGS上擊敗了一些人類選手和其他圍棋機器人。DarkForest的第一版完全是基于卷積神經網絡。通過有監督模式的訓練讓它來「模仿」人類選手。我們使用了大量人類專業選手比賽錄像的數據庫，然后將比賽的棋盤格局輸入到卷積神經網絡中，以此來訓練它預測人類選手的下一步走法。這需要大規模卷積神經網絡，它的輸入是一個帶有注釋的完整的19×19圍棋棋盤，而神經網絡輸出的是一個代表著人類專業棋手每一步走法概率分布的棋盤地圖。這充分利用了卷積神經網絡的模式識別能力，而這種能力在圖像中的物體識別、人臉識別和語音識別方面的成功早就得到了證明。
LeCun表示，將卷積神經網絡應用于圍棋的想法要追溯到很久之前的1994年，Nicol Schraudolph及合作者共同在NIPS上發表了一篇論文，將卷積神經網絡和增強學習結合起來應用于圍棋問題研究。但當時對這些技術的理解還不夠深入，而且那時的計算機限制了可以被訓練的卷積神經網絡的規模和復雜性。近期，多倫多大學的博士生Chris Maddison與Google DeepMind的研究者在ICLR 2015上共同發表了一篇論文，文章中提到，用比賽視頻數據庫訓練過的卷積神經網絡能夠在預測走法上擁有優秀表現。愛丁堡大學Amos Storkey團隊發表在ICML上的論文同樣體現出這個結果。許多研究者開始相信，或許深度學習和卷積神經網絡真正能夠在圍棋上有所作為。Amos Storkey說：“圍棋是由棋盤上的各種模式來驅動，深度神經網絡非常擅長從棋盤的各種模式中進行歸納總結，因此非常合適下圍棋。”
這就是促使Yuandong將第一版黑暗森林發布在KGS服務器上的原因，此后，一個更加先進的版本很快攀升到了KGS服務器上的第三名，遠好于之前的研究。這項排名要好于大多數開源程序，即便是人類棋手，也需要花費幾年時間才能達到這個水平。人類棋手喜歡和它對弈的原因在于它的走法非常像人類棋手。但同時它又非常擅長作戰策略。贏下局部和策略有關的戰爭有時需要非常具體的探索，而非單純的模式識別。
很明顯，通過將卷積神經網絡和蒙特卡洛樹搜索的結合可以提升程序在策略方面的能力。在過去五年中，計算機圍棋程序通過蒙特卡洛樹搜索取得了很大進步。蒙特卡洛樹搜索是一種應用于計算機國際象棋程序中的樹形搜索方法的“隨機”版本。INRIA的法國研究者團隊第一次提出了蒙特卡洛樹搜索。之后，這種方法很快在幾個最好的計算機圍棋團隊中流傳開來，并變成開發頂級圍棋機器人所需要的標準方法。
今天發布的新論文描述了DarkForest的最新版本，被稱作黑暗森林3，它使用了卷積神經網絡和蒙特卡洛樹搜索的結合。這個程序已經在KGS服務器上運營了一個多月，并取得了成人組第五的排名。這個排名意味著它已經成為全美國最好的前100名選手之一，也步入了世界最頂尖圍棋機器人之列。
有趣的是，這個項目是由我們一個小團隊僅花了幾個月時間開發出來的，沒有投入任何圍棋專家資源（當然，除了比賽錄像數據庫）。這是對機器學習威力的一次偉大證明。
接下來明智的選擇是將卷積神經網絡和蒙特卡洛樹搜索與增強學習結合起來，就像Nicol Schraudolph的開創性研究。使用增強學習的優勢在于可以讓機器自己與自己對戰連續玩很多次游戲，自己訓練自己。這個想法可以追溯到Gerry Tesauro的“NeuroGammon“，一個二十世紀九十年代的計算機西洋雙陸棋程序，它將神經網絡和增強學習結合了起來，并打敗了這款游戲的世界冠軍。我們知道，世界范圍內的幾個團隊正在積極研究這一系統。我們的系統仍處在開發中。
Yann LeCun最后的結尾非常有深意：
Facebook對研究的態度素來是“盡早發布，時常發布”，以此詮釋開源軟件世界頗受歡迎的座右銘。我們的圍棋機器人系統已經運營在KGS服務器上，我們的論文已于早些時候發表在 arXiv.org。我們認為，當研究團隊彼此迅速交換研究成果并以彼此研究為基礎來推進研究時，科學會進步的更快。
谷歌和Facebook的圍棋軍備之爭
谷歌和Facebook正在開展一場破解圍棋的算法競賽。此前，Facebook一名研究員Rob Fergue認為，“圍棋就是高級人工智能的目標。”同時他也承認，Facebook此舉至少在小范圍內是在與谷歌進行競爭。谷歌的圍棋研究令人印象深刻。
如今，谷歌和Facebook使用深度學習來識別網絡圖片中的人臉；計算機能夠識別出我們的語音命令；可以將一種語言翻譯成另一種；有時甚至能夠理解人類的自然語言。
這些技術都依賴于深度神經網絡。如果你將足夠多的關于樹木的照片輸入進去，它們就能學會識別出一棵樹。如果輸入足夠多的對話，它們就能學會如何進行一段得體的對話。如果輸入足夠多的圍棋走法，它們就能學會下圍棋。
“圍棋是由棋盤上的各種模式來驅動，深度神經網絡非常擅長從棋盤的各種模式中進行歸納總結，因此非常合適下圍棋。”愛丁堡大學教授 Amos Storkey表示。他正在使用深度神經網絡來處理圍棋問題，就像谷歌和Facebook所做的那樣。
他們相信這些神經網絡最終能夠縮小機器和人類之間的差距。在下圍棋時，即使是最高段的棋手也無法檢查出每一步走法所帶來的所有結果。他們往往是基于盤面來進行決策。借助于深度學習，研究者就可以對這種方法進行復制。將成功走法的圖片輸入到神經網絡中，從而幫助機器掌握每一次成功走法的模樣。“這種方法并不是希望找出最優走法，而是學習人類的下棋風格，然后對人類棋手進行有效的復制。”Storkey說到。
谷歌和Facebook交戰過程如下（美國當地時間）：
1）2015年11月，Facebook在Arxiv發表論文，提到了一種將蒙特卡洛數搜索與深度學習相結合的方法，這套系統在與人類棋手的比賽中絲毫不落下風，公司表示，它甚至能夠表現出人類般的下棋風格。畢竟，這套系統是從人類棋手的棋路中進行學習的。RéMI COULOM Coulom稱這項結果“非常驚人”。
2）2015年12月初，谷歌DeepMind創始人Hassabis在接受視頻采訪被問到“或許你們會在圍棋上有所突破？”Hassabis笑著說：“我現在不能談論這件事，但是幾個月后，我相信會出現一個大驚喜。”
3）2016年1月26日，Facebook對去年11月發表的論文《Better Computer Go Player with Neural Network and Long-term Prediction》進行了更新，Yann LeCun在個人Facebook主頁發表長篇聲明。
4）2016年1月27日，谷歌DeepMind在《Nature》發表論文。
京公網安備 11010502049343號