從SIRI到自動駕駛汽車，人工智能(AI)正在迅速地發(fā)展。雖然科幻小說經(jīng)常將人工智能描繪成具有類人特性的機(jī)器人，但人工智能可以涵蓋從谷歌(Google)的搜索算法，IBM沃森 (人工智能程序)，到自動武器的任何科技。

當(dāng)今的人工智能被正確地稱為專用人工智能(或弱AI)，因?yàn)樗辉O(shè)計來執(zhí)行的任務(wù)范圍狹窄(例如，僅執(zhí)行面部識別，或只進(jìn)行互聯(lián)網(wǎng)搜索，或僅駕駛汽車)。然而，許多研究人員的長期目標(biāo)是創(chuàng)建通用人工智能(AGI或強(qiáng)AI)。雖然專用人工智能 能在其特定的任務(wù)上超越人類，如下棋或解方程，AGI將在幾乎所有認(rèn)知任務(wù)上超越人類。

為何研究人工智能的安全性?

在短期內(nèi)，保障AI對社會有益的科研范疇可涵蓋諸多領(lǐng)域如經(jīng)濟(jì)學(xué)和法學(xué)，以及驗(yàn)證法、有效性計算、安全性和控制論等技術(shù)層面課題。如果安全保障僅限于防止你的筆記本電腦宕機(jī)或被黑客入侵，就算出了問題也只是給你添點(diǎn)小麻煩。但當(dāng)AI系統(tǒng)控制汽車、飛機(jī)、心臟起搏器、自動交易系統(tǒng)或電網(wǎng)時， 我們必須保證該系統(tǒng)完全遵照我們的指令，否則后果將不可設(shè)想。另一個短期挑戰(zhàn)是如何防止自主武器的毀滅性軍備競賽。

從長遠(yuǎn)來看，一個重要的問題是，如果我們成功創(chuàng)造了能在所有認(rèn)知功能上超過人類的通用人工智能，將會發(fā)生些什么。正如約翰·古德(Irving John Good)在1965年所說的，設(shè)計更有智慧的AI系統(tǒng)本身就是一個認(rèn)知任務(wù)。這樣的系統(tǒng)有潛力執(zhí)行遞歸式的自我完善，觸發(fā)智能爆炸，并遠(yuǎn)遠(yuǎn)地超越人類智力。通過發(fā)明革命性的新技術(shù)，這樣的超級智能可以幫助我們消除戰(zhàn)爭，疾病和貧困。因此，創(chuàng)造強(qiáng)AI可能是人類歷史上最重大的事件。然而，一些專家表示擔(dān)心，人類的歷史也會隨著此類的超強(qiáng)大AI的誕生戛然而止，除非我們學(xué)會在AI成為超級智能之前即可使其與我們同心所向。

有些人質(zhì)疑強(qiáng)AI是否會實(shí)現(xiàn)， 也有些人堅(jiān)信創(chuàng)建超級智能對人類必定是有益的。FLI承認(rèn)這兩種情形皆有可能，但我們更意識到人工智能系統(tǒng)具有有意或無意造成巨大危害的潛力。我們相信今日的研究意在防患于未然，使得未來人們受益于AI的同時，規(guī)避潛在風(fēng)險隱患。

人工智能如何可能制造危險?

大多數(shù)研究人員同意，一個超智能AI不可能產(chǎn)生人類的情感，如愛或恨。他們也認(rèn)為人們沒有理由期望AI有意識地趨善向惡。當(dāng)考慮AI如何成為風(fēng)險時，專家認(rèn)為有兩種情況最有可能發(fā)生：

AI被設(shè)計執(zhí)行毀滅性任務(wù)：自主武器(autonomous weapon)是為殺戮而生的人工智能系統(tǒng)。若落入惡人手中，這些武器很容易便可造成大量傷亡。此外，AI軍備競賽也可能無意中引發(fā)AI戰(zhàn)爭，導(dǎo)致大量傷亡。為了避免被敵對勢力從中阻撓，這些武器的“關(guān)閉”程式將被設(shè)計得極為復(fù)雜，因而人們也可能對這種情況失去掌控。這種風(fēng)險雖然也存在于專用人工智能 (narrow AI)中，但隨著AI智能和自驅(qū)動水平的提高，風(fēng)險也會跟著增長。

AI被開發(fā)進(jìn)行有益的任務(wù)，但它執(zhí)行的過程可能是具破壞性的：這可能發(fā)生在我們尚未達(dá)到人類和人工智能目標(biāo)的一致性(fully align)，而解決人類和人工智能目標(biāo)一致性的問題并不是一件容易的事。試想，如果你召喚一輛智能車將你以最快速度送到機(jī)場，它可能不顧一切地嚴(yán)格遵從你的指令，即使以你并不希望的方式——你可能因超速而被直升機(jī)追逐或嘔吐不止。如果一個超智能系統(tǒng)的任務(wù)是一個雄心勃勃的地球工程項(xiàng)目，副效果可能是生態(tài)系統(tǒng)的破壞，并把人類試圖阻止它的行為視為一個必須解除的威脅。

以這些例子來看，我們對高級AI的擔(dān)憂并非在于其可能產(chǎn)生惡意，而是它可能達(dá)到的能力。超智能AI將非常善于完成其目標(biāo)，如果這些目標(biāo)不與我們的目標(biāo)形成一致，我們麻煩就大了。正比如，你可能并非對螞蟻深惡痛絕，也沒有踩死螞蟻的惡意，但如果你負(fù)責(zé)水電綠色能源項(xiàng)目，而項(xiàng)目開發(fā)的所在地區(qū)有一個蟻丘會因?yàn)榇笏谎蜎]，那只能說是算螞蟻倒霉罷了。人工智能安全研究的一個關(guān)鍵目的就是要避免將人類置于和這些螞蟻同樣的位置。

為何人們最近對AI安全感興趣?

史蒂芬·霍金、伊隆·馬斯克、史蒂夫·沃茲尼亞克、比爾·蓋茨等許多科技大腕和許多領(lǐng)導(dǎo)AI研究的科學(xué)家最近在媒體和公開信中對AI風(fēng)險表示關(guān)心。為什么這個話題在近期會突然出現(xiàn)在多則頭條新聞中呢?

強(qiáng)AI的成功實(shí)現(xiàn)一直被認(rèn)為是天方夜譚，即使得以達(dá)成也是最少是幾千年以后的事情。然而，由于最近的突破性研究和許多AI里程碑的創(chuàng)造，在僅僅五年前被專家認(rèn)為是幾十年后才能達(dá)到的技術(shù)，現(xiàn)在已經(jīng)實(shí)現(xiàn)。這讓許多專家認(rèn)真地考慮在我們整個人生中出現(xiàn)超級智能的可能性。雖然一些專家仍然猜測類人AI在幾個世紀(jì)以后才可能發(fā)生，大多數(shù)AI研究員在2015年波多黎各會議中預(yù)測人類智能級別的人工智能在2060年之前便可能產(chǎn)生。因?yàn)锳I安全研究可能耗費(fèi)十幾年才能完成，所以我們應(yīng)該乘現(xiàn)在便進(jìn)行這些方面的研究。

由于AI有可能變得比人類更聰明，我們并沒有確實(shí)的方式來預(yù)測它的行為將會是如何。對于AI的發(fā)展可能衍生出什么后果，我們不能把過去的技術(shù)發(fā)展作為參考，因?yàn)槲覀儚膩頉]有創(chuàng)造出任何能夠在智慧上超越人類的科技。事實(shí)上，我們最能作為參考的依據(jù)便是人類本身的進(jìn)化史。人類之所以能在今天成為這個星球的萬物之靈，并不是因?yàn)槲覀冏顝?qiáng)、最快或體積最大，而是因?yàn)槲覀兪亲罹咧腔鄣摹Ｈ绻幸惶欤覀儾辉偈鞘郎献盥斆鞯模覀冞€能夠自信對世界擁有控制力嗎?

FLI的立場是，只要我們管理科技的智慧比技術(shù)不斷增長的力量更加強(qiáng)勁，我們的文明就會持續(xù)蓬勃發(fā)展。針對AI技術(shù)，F(xiàn)LI的立場是，我們應(yīng)該在不阻礙AI發(fā)展的前提下，通過支持人工智能安全研究來加速對AI科技的管理能力。

關(guān)于高級AI的誤傳

關(guān)于人工智能的未來以及它對人類意味著什么的對話已經(jīng)正在進(jìn)行。當(dāng)下，AI技術(shù)有許多連頂尖專家都無法達(dá)到共識的爭議，例如：AI對就業(yè)市場未來的影響; 人類智能級別的人工智能是否/何時會被開發(fā);AI開發(fā)是否會導(dǎo)致智力爆炸;以及這是我們應(yīng)該歡迎還是恐懼的事情。但當(dāng)下也存在著許多由誤解或人們各說各話所引起的偽爭論。為了幫助我們專注于對有意義的爭議和問題做出討論，而不是分心在錯誤的信息上，讓我們首先將一些最常見的誤傳解除掉。

時間推斷上的誤區(qū)

一個常見的誤區(qū)與AI的時間表有關(guān)：那就是人們認(rèn)為他們能肯定地斷定機(jī)器極大地取代人類智能到底需要多長的時間。

許多人誤認(rèn)為我們肯定能在這個世紀(jì)內(nèi)制造出超越人類的人工智能。事實(shí)上，歷史充滿了人類將技術(shù)夸大的例子。比如說，從前人們認(rèn)為一定會實(shí)現(xiàn)的聚變發(fā)電廠和飛行汽車，現(xiàn)如今卻從未出現(xiàn)過。 AI這類科技也在過去被人們， 甚至被這個領(lǐng)域的先鋒， 一直重復(fù)地過分夸大。比如說，約翰·麥卡錫(“人工智能”一詞的創(chuàng)造人)，馬文·明斯基，納撒尼爾·羅切斯特和克勞德·香農(nóng)曾寫下個過于樂觀的預(yù)測。單憑當(dāng)年科技陳舊的電腦，他們提出：在1956年夏天的2個月之內(nèi)，他們要在達(dá)特茅斯學(xué)院進(jìn)行一個10人人工智能的研究。他們企圖了解怎樣能讓機(jī)器使用語言，形式抽象和概念，來解決目前只有人類能應(yīng)對的各種問題，并進(jìn)行AI自我提升。他們寫道，只要有一組精心挑選的科學(xué)家們在一起工作一個夏天，就可以在一個或多個問題上取得重大進(jìn)展。但他們的預(yù)測，并沒有成真。

在另一方面， 人們之中也普遍流傳著另一個極面的預(yù)測，那就是我們肯定知道超越人類的人工智能不會在本世紀(jì)中出現(xiàn)。研究人員對我們與超越人類的人工智能的距離進(jìn)行了廣泛的估計，但是我們亦不能斷定本世紀(jì)出現(xiàn)超越人類的人工智能的概率為零，因?yàn)檫@種對科技充滿質(zhì)疑的預(yù)測在過去很多時候都是錯的。例如，偉大的核物理學(xué)家歐內(nèi)斯特·盧瑟福(Ernest Rutherford)曾在1933年，在西拉德發(fā)明核鏈反應(yīng)前不到24小時之內(nèi)說，核能只是飄渺虛無的“月光”。皇家天文學(xué)家理查德·伍利也在1956年稱行星際旅行不過是“一派胡言“。他們負(fù)面的想法顯然并不正確。對AI最為極端的預(yù)測是，超越人類的人工智能永遠(yuǎn)不會到達(dá)，因?yàn)樗谖锢砩鲜遣豢赡軐?shí)現(xiàn)的。然而，物理學(xué)家們都知道，大腦本身是由夸克和電子排列起來的強(qiáng)大計算機(jī)，而世上并沒有物理學(xué)的規(guī)律規(guī)定人類不可能建立更加智能的夸克斑點(diǎn)。

目前，已經(jīng)有一些調(diào)查問卷向AI研究人員詢問他們對制造類人AI至少有50%概率的時間預(yù)測。所有的調(diào)查都有相同的結(jié)論， 那就是連世界上領(lǐng)先的專家都無法達(dá)到共識，所以不要說我們，就更不能知道到底什么時候才會出現(xiàn)超越人類的人工智能。例如，在2015年波多黎各AI會議的AI調(diào)查中，平均(中值)答案是在2045年，但當(dāng)中也有些研究人員猜測超越人類的人工智能只可能在數(shù)百年或更長的時間后發(fā)生。

還有一個相關(guān)的傳言就是對AI有所擔(dān)憂的人認(rèn)為類人AI在幾年內(nèi)就會發(fā)生。事實(shí)上，大多數(shù)擔(dān)心超越人類的人工智能會帶來隱憂的人，但凡在記錄上曾發(fā)言過的，都預(yù)測超越人類的人工智能至少需要幾十年才會發(fā)生。但他們認(rèn)為，只要我們不是100%確定超越人類的人工智能不會在本世紀(jì)中發(fā)生，最聰明的做法就是乘現(xiàn)在便開始進(jìn)行安全研究，以防范于未來。許多與人類智能級別的人工智能相關(guān)的安全問題非常艱難，可能需要幾十年才能解決。所以，與其等到一群過度操勞的程序員不小心啟動問題前才做出對策，現(xiàn)在就開始針對這些安全問題進(jìn)行研究是明智的。

誤傳的爭議

另一個常見的誤解是，那些對人工智能感到擔(dān)憂和提倡人工智能安全研究的人事實(shí)上對AI了解并不多。當(dāng)標(biāo)準(zhǔn)AI教科書作者斯圖爾特·羅素在波多黎各會談中提到這一點(diǎn)時，他逗得觀眾哄堂大笑。另一個相關(guān)的誤解是，有些人認(rèn)為支持人工智能安全研究是極具爭議性的。事實(shí)上，為人工智能安全研究能得到適當(dāng)?shù)耐顿Y，人們只需要理解到AI可能帶來的安全課題不可被忽視， 但他們并不需要被說服認(rèn)為其風(fēng)險非常高。這就好比為房屋投保是一樣的道理：買保險并不是因?yàn)榉课輼O大的可能被燒毀，而是因?yàn)榉课荼粺龤碛胁豢珊雎缘母怕省榱税踩鹨姡度階I安全研究是非常合理的。

或許是媒體的夸大使人工智能的安全課題看起來比實(shí)際上更具爭議。畢竟，在文章中使用恐嚇的語言，并利用超出語境的引言來宣揚(yáng)即將來臨的危機(jī)可以比發(fā)表具平衡的報告引來更多的點(diǎn)擊率。因此，若人們只是由媒體報道來了解彼此的立場， 他們可能會認(rèn)為他們在立場上的分裂比事實(shí)上還要嚴(yán)重。比如說，一個對科技存在懷疑的讀者只讀了比爾·蓋茨在英國小報中所敘述的立場，便可能會錯誤地認(rèn)為蓋茨認(rèn)為超級智能即將來臨。同樣的，參與符合共同利益的人工智能運(yùn)動的人或許在并不理解吳恩達(dá)博士的確實(shí)立場前，就因?yàn)樗麑鹦侨丝谶^多的發(fā)言而錯誤地認(rèn)為他不在乎人工智能的安全。然而事實(shí)上，他對人工智能安全具有一定的關(guān)心。他的發(fā)言的關(guān)鍵是因?yàn)閰嵌鬟_(dá)對時間線的估計更長，因此他自然地傾向于優(yōu)先考慮短期內(nèi)AI所能帶來的挑戰(zhàn)，多于考慮長期中可出現(xiàn)的挑戰(zhàn)。