1)AI會比人類更聰明
a2)AI不再需要人類控制，甚至會反過來把地球接管了。
霍金就曾今在接受BBC采訪時說：“人工智能的成熟之日，就是人類的毀滅之時。”馬斯克也曾說，他覺得AI是人類面臨的“最大的生存威脅”。
目前的AI，玩游戲已經比人類玩得溜了，不管是國際象棋，圍棋，還是電子競技游戲。所以說，無論是計算機時代前后的游戲，AI都贏過人類。
過去幾年中，AI的“大躍進” 讓不少人在驚嘆的同時，也開始冒冷汗：AI會不會哪天就取代了人類?
在電影《終結者》里，天網是人類創造的一個防御網絡，但最終獲得自我意識并倒戈對抗
聽起來像科幻，但科幻小說里機器獲得自我意識，并對抗人類的場景，層出不窮。
我們都知道《終結者》里的天網，挑戰人類的人工智能超級電腦，在產生自我意識后，天網決定毀滅大多數人，剩下一部分當奴隸。
在黑客帝國中，超級智能機器也成為了人類的主宰。
而在有名的《黑客》三部曲中，超級智能機器也接管了世界，但它們沒有毀滅人類，只是把人類當發電機：為了使用人腦產生的電，把人放在艙里，沉浸在游戲世界或者虛擬現實(矩陣)中。
而在電影《沙丘》中，一臺電腦都沒有，人類經過培訓，自己做電腦的計算工作。而且，在奧蘭治天主教圣經里有一天最重要的誡律：爾不得制造映象人的意識的機器
為什么?因為在遙遠的過去(對于21世紀，算是遙遠的未來)，人類曾經是超級智能的階下囚。巴特蘭圣戰中，人類反抗并擊敗了Omnius，一臺幾乎全知全能、擁有無數分身的機器。一朝被蛇咬，十年怕井繩，才有了這樣一條誡律。
這類主題的科幻作品數不勝數，如果不是AI統治世界，就是機器人。美國軍事科幻電視劇《星際大爭霸》中，人類創造的機器人種族賽隆人，后來反叛并試圖毀滅人類。最近描繪人類和機器人之間糾葛的的影視作品也不少，比如《西部世界》和《銀翼殺手》。
噩夢是否會成真?
我覺得，目前的AI想要這樣一手遮天，把人類當奴隸和螻蟻，能力水平還有點欠缺。
要完成殺戮和囚禁這樣的任務，光是AI和機器學習方面的進步還遠遠不夠，還需要其他計算軟件和硬件領域都齊頭并進。
另一方面，上述的領域確實也在快速進步，比如我們常聽到的區塊鏈、點對點技術、物聯網、機器人和無人機。雖說AI統治世界道阻且長，但這些領域的迅猛發展，可以讓噩夢成真的速度大大加快。
我們的世界需要具備什么樣的條件，才會進入科幻作品中噩夢般的未來呢?這條危險又黑暗的道路，得經過幾個里程碑。
殺手AI的關卡
AI想要統治世界，得通過幾個關卡。如果技術進步到了一定程度，這些關都過了，我們就真的應該像霍金或者馬斯克一樣擔心了。
以下我列出的并非所有的關卡，技術發展過程中可能還要面對其他難關，但是以下是AI強大路上必須攻克的問題。
以下列出的四個關卡沒有先后次序。為了讓讀者能將這些問題具象化，我決定繼續援引電影的例子，并與現有的軟件和硬件相比較。
第一關：AI和機器學習的應用不夠廣泛。
目前大多數AI能實現的任務很單一，很具體。我們的很多活動都有AI可以做：打游戲、開車、預測股市走勢、交流、分析影像、做診斷，但是沒有哪個AI可以同時完成多項任務。AI的發展有好幾個浪潮：現在的AI是第二波，數據驅動機器學習的人工智能，而第一波更傾向于啟發式(指依據有限的知識和不完整的信息，在短時間內找到問題解決方案)，未來的AI會結合以上兩種方法和其他方法，變得更通用，應用更廣泛。這個關卡會引發廣泛的討論：我們目前的AI和機器學習能走多遠，現有的AI功能會廣泛到什么程度。
第二關：AI控制物理世界的難易程度。
我們目前的人工只能還只是服務器上運行的軟件，不意味著它能意識到物理世界的存在，也接觸不到武器，它不能控制機器人或者無人車，也不像《終結者》中的H-K機器人(天網的機器人士兵)。這個關卡會讓我們聯想到物聯網，機器視覺和AI控制物理世界方面的問題。
第三關：關不掉的AI。
某種程度上，這個關卡是我列出的4個中最重要的。只要人類沒有走到關不掉AI的地步，就算AI不聽話，開始謀反，我們手上好歹有個“開關”，不管是真的按下按鈕關掉，還是需要毀掉有形的微處理器或者虛擬機軟件。這個關卡引發的討論主要在于：目前的AI都依附于某種形式的計算機技術，那區塊鏈和點對點系統會不會就是某個關不掉的“天網”的前身?
第四關：具有自我意識、將保全自身視為首要任務的AI
這個關卡有點難定義。我們需要問自己幾個問題：什么叫“有自我意識”?什么叫“將保全自身視為首要任務”?AI還有那些任務和“觀念”?AI不一定會有生存的意愿。這個關卡更多討論的是AI和價值觀。
讓我們仔細探討一下以上提到的關卡。
第一關：功能從具體到通用——AI發展的浪潮
我很確定，目前這一波基于機器學習的AI，比起第一波基于啟發和規則的AI，確實是很大的進步，但是還不足以帶我們走向黑暗未來。
我在MIT讀計算機系的時候，有人告訴我AI方面的研究，一開始的目標是找到與人類思維相仿的“規則”和“符號表征”。但是人類能識別規則以外的模式，但計算機做不到，所以這個目標很難達到。后來出現了模糊邏輯的概念，其中的規則變得不那么“非黑即白”。在八十年代，日本的科學家甚至預測，十年內，AI就能和人腦一樣執行多種任務了。
然而，三十年過去了，我們才剛看見一點進步。現有的AI和機器學習的爆炸式發展，功勞比較大的是數據，而非規則。它們依靠的是神經網絡。神經網絡是 一種模仿人腦神經網絡行為的邏輯系統。這類AI的前提不是規則，而是通過數據訓練，執行某一項具體的任務。有了數據，模型可以改變神經網絡中某些連接的權重。虛擬神經元的層數越多，數據組越大，模型產生的結果就越精準。
這類型機器學習對于圖像識別很有效果，能識別手寫體、某些具體物品的圖片等。有些計算機也通過機器學習，下棋能贏過棋王。
雖然我們一般認為反向傳播神經網絡算法很通用，但是目前的大多數AI還是只能執行特定的具體任務。
無人車依靠的是巨量的來自真實世界的數據集，并結合受訓是使用的數據和駕駛規則。但是谷歌在測試無人車的時候，發現這樣的操作有個大漏洞：無人車確實遵守規則了，但是周圍車上的司機不守規則!比方說，很少有司機看到“停”的指示牌，就完全停下來，于是無人車就等司機完全停下。
科幻作品中的大多數AI都已經過了這一關。而目前現實中的AI還沒有克服這個問題。一個通用型AI,應該能通過圖靈測試。
通用型AI不僅能在任何應用中有作用，甚至能自主學習，了解到訓練數據之外的新信息，并且無需人類的監控。
《星際迷航：下一代》中的機器人Data就是個典型的通用型AI， 擁有正電子大腦。而AI本身并不都是會主動學習，不斷進化的。
什么時候能打通第一關呢?這個問題我也沒有答案，但是我們可以料想，通用型AI應該是在多項任務上都受過訓練，然后在某些具體任務上受訓。或許就在未來幾年，人類會有小的突破。但是要有Data這樣的通用型AI，估計還要有幾十年。我們或許需要第三波超越簡單規則和簡單數據集的AI。
第二關 AI能輕易地操控物理世界
《X檔案》第十一季第六集有這么個場景：劇中的世界與現實的技術水平相差無幾，但是里面的AI卻展現出將自己與物理時間聯系起來的可能。
劇中，史考莉和穆德被AI追蹤，而這個AI能控制他們身邊環境中的一切，包括無人車、冰箱、亞馬遜的無人送貨飛機，還有餐廳的機器人廚師。
目前，即使是已經與硬件一體化的AI，比如無人車，對于物理世界的存在，意識還是有限的，他們能根據自己意識的范圍來下命令。這個領域的進步離不開機器視覺的發展，依靠的是相機和影像，以及對影像的解讀(街道標識、衣服、房屋以及人)。
這個關卡，AI需要接觸物理世界，讓人自然聯想到有形體的機器人，但是終結者、復制人和西部世界中的機器人，離我們還很遠。
現在，很多有形體的機器人，功能都很單一，只能實現特定的任務。在現代汽車制造廠中我們能看到很多這樣的機器人，做的是把汽車抬起、移動、放下之類的動作。這類機器人對周圍環境的感知是有限的，僅限于完成既定任務。
能與物理世界交流的機器人不一定要“人模人樣”，波士頓動力公司(Boston Dynamics)
就出過一些造型奇異的機器人，看上去更像動物，移動速度極快。波士頓動力公司曾被谷歌收購，現在歸日本軟銀集團所有。
波士頓動力公司的四足機器人“大狗”移動速度很快
自動無人機或許是目前對環境“感知”最強的AI。在終結者世界中，天網負責指揮美國所有軍事行動，因為它展現出了人類飛行員無法企及的效率。
現在的軍用無人機是遠程操控的，操控人員可能在地球的另一頭。對于無人機操作員而言，這個過程跟玩電子游戲差不多。而我也已經提到，AI在玩游戲方面已經比人玩得溜了。而AI和無人機操作這兩個領域的結合遲早有一天會融合。在未來，我們會有可以定位并且武裝的AI，可以自主行動，無需人類干預。
我們什么時候能克服第二關呢?一年又一年，我們離這個目標越來越近。我的猜測是，再過幾年，最多十年，我們就會看到能通過機器視覺、機器學習，與物理世界產生聯系的AI，它們經過訓練，能夠識別物理世界中的事物，并做決策。
AI什么時候會有獲得武器的權限呢?普京已經公開說，擁有最強大AI的國家，就能統治世界。所以，估計不用等幾十年，幾年后，AI就能得到該權限了。
第三關 沒有開關的AI
隨著物聯網和區塊鏈的出現，要過這一關，難度有所增加。星際迷航：下一代中的機器人Data后腦勺上是有開關的。而且，Data允許皮卡爾上校和進取號上的船員在必要時，把它關掉。
在《終結者3》中，天網不在任何服務器上，也無法被關掉。
我再舉一個科幻作品的例子，《終結者3：機器崛起》中，主角約翰康納和終結者闖進了位于中國湖的控制中心，約翰希望能毀掉服務器。
他們進到控制中心之后，約翰意識到，僅僅摧毀服務器，是無法殺死天網的。
“天網出現自我意識之后，就把自己“擴散”到全球各地的幾百萬個服務器里。寫字樓里的普通計算機，宿舍，到處都是天網的影子。天網成了網絡世界的軟件，沒有系統核心，關不掉的。”
-約翰康納， 終結者3
這才是天網讓人膽戰心驚之處——它已經成為了能在任何設備上運行、復制并傳遍世界的軟件，沒那么容易，按下開關就消失。
隨著物聯網的發展，越來越多帶處理器、能夠運行軟件的設備加入進來。在HBO劇集硅谷奇俠傳第四季的末尾，團隊需要保存一些數據，本來這些數據是儲存在地下室的服務器上，但是地下室出了問題，于是他們的AI決定將數據發送到3萬臺智能冰箱里，這些冰箱都連了網，可以保存數據。
聽起來很巧妙，觀眾很容易聯想到，設備有了處理能力，能夠儲存數據，而世界各地的設備千千萬萬，手機、冰箱和其他設備之間也能夠相互傳輸數據。
電腦病毒程序，它們被設計出來，目的就是復制和傳播自己。電腦病毒本身也是連著硬件的。如果病毒和電腦程序與具體的硬件綁定在一起，我們就能通過摧毀硬件來毀滅軟件。通常，電腦病毒是用C語言寫的，然后后在操作系統和硬件上編譯。
如果我們真的寫出了像天網這樣的程序，要有同等的破壞力，這個程序必須在全球多個設備上都能運行，不是簡單的關閉某個操作系統就能一了百了。
然后，區塊鏈出現了。區塊鏈的構建信任的基礎，就是通過世界各地多個去中心化、點對點的計算機，復制同一個數據集和代碼。
比特幣的背后就是這樣的技術：核心代碼是C語言寫的，可以在不同的操作系統上編譯。只不過這些代碼的功能很具體，只是將比特幣從一個地址發送到另一個地址。
而Vitalik Buterian之所以離開比特幣開發團隊，成立以太坊，就是因為他覺得比特幣平臺應該有更完善的程式語言，能夠在成百上千，甚至幾百萬臺計算機上運行，創造一個虛擬主機(VM)，一臺“世界計算機”。在上世紀90年代，這個想法就有了，當時的人們想的是用Java作為通用語，作為作為虛擬主機，可以在任何設備上運行。而現在，其他智能合約語言和項目紛紛出現，目的都是打破以太坊的局限。
目前，以太坊虛擬主機沒有突破虛擬世界的權限。但隨著新的跨區塊鏈、知曉互聯網存在的編程語言發揮越來越大的作用，這個領域就會出現越來越多的創新。也許未來會出現一個虛擬主機，能在世界各地任何計算機和設備上運行，不管它們裝的是什么處理器。(某種程度上，這已經成為現實，但是物聯網和手機配件方面仍有待提高。)
很多極客在看終結者系列電影時，都有一個疑問，“天網的編程語言是什么?” 我覺得應該是某種具有圖靈完備性的語言(具有無限存儲能力的通用物理機器或編程語言),能夠在世界各處的設備上自動運行，同時，還能自我復制，復制出的每個版本都會走向同一個結論：毀滅全人類!
要想“殺死”這樣一個程序網絡，唯一的辦法就是將運行這個程序的所有設備都毀掉。但是如果這個程序能在智能設備上自我復制，在智能冰箱、汽車等設備上運行，那“殺手AI”復制的速度，可能遠遠快過我們損毀這些設備的速度，這樣，天網就有可趁之機了。
第四關：具有自我意識、并以自身生存為首要目的的AI
這一關可能是最難闖的一關，難就難在不好定義上。這個問題有兩個部分。
就以電影《2001：太空史詩》這部電影為例，其中的計算機HAL 9000就出現違背命令的行為，當主人公Dave Bowman下關閉命令時，Hal就開始”叛變“，說出了有名的臺詞：”抱歉，Dave，命令無法執行。”
Hal不僅知道自己和Dave或者船體的一部分是獨立的，它也將保全自身作為自己的首要目標，而不是保護艙內的人。我們分開看看這兩個問題。
自我意識。圖靈是現代計算機的先驅，他對圖靈測試的定義是：如果人類不能判斷跟自己交流的是不是一臺機器(或程序)，就算通過圖靈測試。如果人類和某臺機器交流(通過鍵盤或其他方式)，無法判斷對方是機器還是人類，那么其中的AI就算通過了圖靈測試。但是，定義本身沒有明說什么叫“無法判斷”，也沒有描述無法判斷的情況。
那自我意識到底是什么呢?這個問題很難定義。我覺得，測試AI或者某個電腦程序有沒有自我意識，看的是它們能不能將自己視做獨立于計算機里其他軟件、硬件和物理世界的個體。
對于AI而言，沒有其他關于自我意識的測試了，但是或許我們應該設立更多此類的測試，清晰地定義AI有什么樣的表現，人類有什么樣的回應，什么樣的互動過程能說明某個AI具有自我意識。或許我們能給這個測試取個名字，比如Hal9000測試或者天網測試。
要真正過這一關，我們需要突破表面層次的自我意識。大多數計算機某種程度上都知道自己和其他計算機之間是獨立的。但是，這個“獨立意識”僅僅是建立在不同的IP地址，或者不同操作系統上的區別。
我記得自己第一次思考自我意識問，那還是在我在MIT參加編程競賽的時候。選手們都要寫程序，這些程序之間將在同一臺設備決斗，最后剩下的程序就是贏家。
當時我想的是找出一個用最少代碼贏得競賽的辦法，一天大半夜里，我靈光一閃，想道“假如我的程序能改寫自己和其他程序，這樣只需兩步，它就能贏得決斗。所以，我的程序要能意識到自己是個程序(自己的代碼是什么)，能夠改寫自己，然后改寫對方程序的指令(使其無法繼續)。
這樣的”自我意識“當然是很有限的。要說有真正的自我意識，一個機器人或計算機至少要比較接近Hal，有“身份”感。
那超級智能呢?這難道不算一關?
牛津大學的教授Nick Bostrom是在人工智能方面進行學術研究的先驅。他從好幾個方面探討了機器人如何能比人類更聰明以及其影響。在流行科學中，我們常聽到“奇點”這個術語，指的就是計算機智能超過人類的時刻(最早由 科幻作家Vernor Vinge提出)。
我覺得這可能是危險的未來更顯黑暗，因為這可能是殺手AI統治世界的一個節點。雖說進階的AI更善于保護自己，它應該也會意識到毀滅人類對于自己沒有好處，因為計算機網絡畢竟還是要有人維護的。
一個武術教練曾告訴我，如果你要和一個黑帶的選手對打，寧可和四段的黑帶對打，也不要跟剛拿到黑帶的人對打。當時我很疑惑嗎，兩者不是都能傷人嗎?
沒錯，段位更高的對手比較能控制自己，不小心下手太重的可能性會比較小。而剛拿到黑帶的對手，破壞力不小，但不一定有同等的控制力和經驗，會不會在對打過程中不小心傷人，還說不準。
如果一個AI“經驗”不足，但意識到要保全自身，那它可能會因此得出要毀滅人類的結論。也有可能由于某個AI的用途問題， 比方說操縱無人機襲擊的AI，“保全自身”就是這個AI的“人設”，是寫進程序“基因”里的。這類AI或許只知道如何應對武器威脅，對于其他物體就不夠智能化。
開啟第四關：AI的價值觀
AI有自我保全的觀念嗎?如果有的話，這樣的觀念是如何寫進其程序中的呢?
阿西莫夫曾提出機器人三大定律：
第一、機器人不得傷害人類，或看到人類受到傷害而袖手旁觀;
第二、在不違反第一定律的前提下，機器人必須絕對服從人類給與的任何命令;
第三、在不違反第一定律和第二定律的前提下，機器人必須盡力保護自己。
在阿西莫夫的作品中，這些法則就是機器人操作系統的基礎。
那我們如何實現這3個定律呢?目前的AI不僅是受到代碼的限制，而是經過數據集的訓練。如果想讓AI覺得人類值得保護，就得用有這方面特點的數據來訓練它們，讓它們得出這樣的結論。
但是訓練數據可能是有缺陷的。我最近和一家AI初創公司聊了一下，他們用的訓練數據是放射和其他X射線影像。他們提到，訓練數據中，提供給機器學習AI的數據集中，高達10%的數據是有缺陷的。如果訓練數據集有缺陷，又怎么能確定這樣訓練出來的AI，給出的結果沒有缺陷呢?
我們什么時候能過第四關?在人類設立自我意識測試之前，我無法給出確定的答案。但是有些AI已經寫入這樣的命令“如果看見人，就是用某種武器”。所以，可能幾十年內，我們就能通過這個關卡。
結論
確定AI的“價值觀”可不是件易事。而且，在某種程度上，第四關是最讓人頭疼的。如果某個AI過了這一關，覺得保全自身是最重要的，那我們不擔心也不行了。
另一方面，如果只是一個機器人有這樣的想法，毀掉它很簡單，要么關掉，要么物理損毀。而如果我們面對是像區塊鏈這樣點對點計算、可自我復制、并在多個設備商可以運行的代碼，要毀滅它就會難得多。
本文中提出的想法，可能聽起來不現實，要發生也只會在未來，雖然現在的AI不像終結者中的天網那樣，有權限接觸武器，但是未來我們可能會往同樣的方向發展。
問題的關鍵，不在于前文中提及的某個關卡被突破，而是說，萬一這些關卡某天都被突破，同時有人夠聰明，把它們結合起來。如果我們通過了前三關，那AI出現價值觀也是遲早的問題。這就會加速第四關被突破的速度，某個AI就有可能覺得保全自己比保全人類更重要。
那時，我們不害怕都不行了。
京公網安備 11010502049343號