編者按：不久前紐約大學心理學教授、Uber人工智能實驗室前負責人、人工智能創業公司Geometric Intelligence創始人Gary Marcus給深度學習潑了10次涼水，指出了這種人工智能方法存在的諸多限制。這次《人工直覺與深度學習手冊》作者Carlos E. Perez開始針鋒相對，逐條予以反擊。總的說來，這是直覺機器與代數思維的路線之爭，究竟誰更有道理呢？看誰先實現AGI吧。
對于Gary Marcus有關深度學習的限制，我至少欠他一個更詳細的解釋。那些研究人員在研究深度學習時沒有盡職的問題在于，其實他們并不理解這一領域取得的大規模進展。通過把恐懼、不確定和懷疑（FUD）注入這個最有可能實現AGI（通用人工智能）的學習領域，其實他們是在幫倒忙。更大的問題不在于其他AGI研究活動得到的資金變稀少了，而是中國相對于美國和歐洲，資助這方面的政府開支要大得多。
有點跑題了啊，不過我的確把Marcus的每一條質疑都好好看過了，我會給大家解釋這每一條用我從事的認知范式研究（比如直覺機器）的話可以如何實現。
如果離開了自動化對象跟環境的交互機制，任何有關實現AGI的對話都是不完整的：
深度學習是非常好的通用逼近器（我們現有最好的一個），當然，除了學習模式以外AGI還需要更多。我已經在之前的文章中寫過了。不過，除非有人構思出了更好的模式識別器，否則的話AGI的發展還將繼續由深度學習推動。吸收了逼近器的現金方法有很多。GAN引入了競爭學習的思路，將識別器與生成器進行結合。RL+DL表明，通過利用Q-learing算法和DL，僅靠觀察像素來學習是有可能的。AlphaZero通過MCTS（蒙特卡洛樹） + DL表明，通過自己跟自己下棋就能形成更先進的策略。在“深度學習”這個東西被發明出來之前沒人設想過上述任何一個新辦法。然而，所有這些新方法成功的主要原因是由于它們把深度學習作為了一個組件。從方程式里面撤走深度學習的話你就什么也得不到了。
好了，現在我們要搬出Gary Marcus的觀點看看用深度學習（或者直覺機器）可以如何解決了。
3.1. 迄今為止的深度學習對數據非常饑渴
這是因為大多數實驗裝置都是要從零開始對環境沒有任何的先驗知識。相反，人類嬰兒在這一點上有著永恒的進化優勢。
不過，如果我們看看AlphaZero的最新進展的話，那么這種需要大量數據的限制似乎已經被消除了。AlphaZero學會下出大師級水平，但是卻不需要從棋譜中學習。相反，它僅僅靠定義了棋類的規則就做到了這一點。它只用了4個小時就學會了下期策略（不同的開局著法、開局讓棋法、對棋盤的控制、殘局的下法、迫移等）。換句話說，它在短得不可思議的時間內就學會了人類在下了很多世紀才領悟到的所有東西。
要是無視這一點風險就得你自己承擔了。
3.2. 迄今為止的深度學習很膚淺遷移能力有限
我們對深度學習的遷移學習的理解仍在初期階段。在用于類似領域是我們已經目睹過遷移學習的進展。舉個例子，對預先訓練過的網絡進行訓練的話培訓會變得更快。這一領域令人印象最為深刻的進展就是高分辨率圖像的生成。這讓我們通過逐步從較小規模的網絡學習慢慢搭建出一個更大的能力更強的網絡。
然而，我們還無法訓練網絡做的事情是，學會知道哪些是不變的東西，這樣才能去學習那些重要的東西。深度學習似乎什么都學，我們也不理解如何才能區分對另一個領域不重要的東西。比方說，如果你改變一個視頻游戲的維度，受訓萬這個游戲的RL+DL系統就沒法玩下去了。這種規模變化讓學習模型陷入了困境。
這是一個有趣的問題，但看起來并不像是無法克服。
3.3. 迄今為止的深度學習沒有應對層次結構的自然手段
基本上，深度學習是在沒有理解層次概念的情況下連續向量空間內建立起表示的。然而，像Capsule Network、Hyperbolic空間以及Graph Convolutional Network（圖卷積網絡）等工作都能捕捉這些分層。
DL方面每年都有成千上萬的論文發表。我想Marcus繁忙的日程安排能跟得上這些文獻的閱讀。
3.4. 迄今為止的深度學習仍搞不定開放式推理
對非靜態環境下有著多個競爭與合作共存的神經網絡的新的研究論文現在已經有發表了。開放式要求在信息不完整的情況下建立起策略。這也是半監督學習領域的重要研究課題。這種情況下部分信息是打了標簽的，但是大部分信息都不是。深度學習系統已經表明它們在這個領域表現很好。
信息不完整環境的一個例子是撲克游戲。利用深度學習來玩競爭性很強的撲克游戲已經取得了重大進展，它們打得非常好。
我可以大膽地說，最先進的開放式推理目前為深度學習型技術所統治。
3.5. 迄今為止的深度學習透明度不夠
這點沒錯，不過難道我們不應該在通用人工智能的背景下來討論這個的嗎？人類自己的透明度就充分了嗎？
人類利用直覺進行的推理就像深度學習直覺機器做出的推理一樣令人費解。請讀讀我在解釋深度學習的時候對2018年做出的預測。
3.6. 迄今為止的深度學習沒有跟先驗知識整合
這個跟AGI也沒有關系。如果我要給洞穴人一個語義網絡或者牛頓的運動方程式的話，他也沒法消化吸收進自己的知識庫。人類并沒有《黑客帝國》里面的那種機制，只需要下載知識即可。
人類消化先驗知識的辦法是通過K-12學校課程，需要好幾年的教學。
不管怎樣，我們先暫時忽略這要求的荒謬。在NLP當中，那些應用了深度學習的，那些吸收了語義網絡的識別引擎已經表明要比那些沒有的表現更好。
3.7. 迄今為止深度學習無法自行區分因果關系和關聯關系
普通人也沒法做到。這不是AGI的要求。
3.8. 深度學習假定世界基本上是穩定的，這可能會引起問題
深度學習最大的未解難題之一是學會如何遺忘。其重要性在于對世界的心智模式是如何建立的。當我們有了那種更高級的智能，可以對世界以及某人的想象進行模擬和實驗時，你就可以了解到先驗知識是不正確的，因此也必須進行相應調整。
知道之前了解到的知識由于與現實世界觀察到的東西不一致而必須進行改變，這種可鍛性是很困難的技能。
再說了，哪怕是當今的美國總統都缺乏這種技能。
3.9. 迄今為止的深度學習從逼近性來說工作得不錯，但是它的答案往往不能完全信任
信任是一種突現社會行為。（除非它被編碼進區塊鏈）
如果無人車的底層技術采用的是深度學習的話我們能怎么信任它呢？
我們信任它們是因為保險公司會進行測算然后開始對那些選擇自己開車的人收取較高價格。
建議你讀一下這篇文章來了解人類兼容AI的復雜性。
3.10. 迄今為止的深度學習難以設計
說得沒錯，這正是深度學習有時候被稱為“深度點金術”的原因。不是每一次革命都不用付出努力的！
理想情況下我們想要結構更加生物性的系統。我在《靈感源自生物的架構》中提到過這些問題。如果你的確想要理解開發深度學習架構的復雜性，那么也許你可以從這篇文章開始。
Marcus似乎把對精心設計的認知系統的要求與對AGI的要求弄混了。在某些情況下，它們的問題是有關聯的，但不是次次都是。
但這只是Gary Marcus對深度學習和AGI認知錯誤的一個原因。我們在人類身上找到的通用智能并不是“代數思維”，相反而是直覺機器。這是我們對AGI的實現路徑看法上的不同。Marcus的代數思維讓我想到了創始論者提出的“智能設計”。這種觀點認為，進化演進出一個眼睛是不可能的。然而，這個卻是深度學習研究人員的論斷。先天的認知機器可以通過學習方法而不是通過設計來發展起來。
我們可能會在不理解其工作機制的情況下發現AGI。在科學史上，理論很少會走在發現的前面。可能會發生的情況是深度學習方法會發現更先進的學習方法，引領我們走向AGI。這個跟AlphaGo或者AlphaZero發現的那種新的下棋方法未必有什么不同。我們剛開始的時候以為它們的下法是算法出問題，結果在人家下贏了之后才發現對方的天才。然而，哪怕我們回過頭來再去復盤，我們的理解也是有限的，人不不知道機器這么下的動機。這是因為洞察作為直覺的結果永遠都是很難解釋的。
原文鏈接：https://medium.com/intuitionmachine/intuition-machines-versus-algebraic-minds-fad052b46ad5
京公網安備 11010502049343號