所以我投身到數(shù)學(xué)和計算機領(lǐng)域。1987年，我發(fā)表了一篇雄心勃勃的畢業(yè)論文，描述了第一個關(guān)于元學(xué)習(xí)(meta-learning)程序的具體研究。它不僅可以通過學(xué)習(xí)解決一些問題，而且還能通過學(xué)習(xí)改進自己的學(xué)習(xí)算法。這種程序僅僅受限于它的計算性能，它可以通過逐漸的自我完善來實現(xiàn)超級智能。
我現(xiàn)在仍在為此努力，但現(xiàn)在有更多的人對此感興趣了。為什么呢?因為現(xiàn)在，我們在實現(xiàn)這一目標(biāo)的過程中所創(chuàng)造的方法，已經(jīng)滲透到現(xiàn)代世界的各個方面。全球幾乎一半的人類都在使用它們，且使用總次數(shù)每天高達數(shù)十億次。。
到2017年8月，目前世界上存在的最有價值的五家上市公司分別是蘋果(Apple)，谷歌(Google)，微軟(Microsoft)，臉書(Facebook)和亞馬遜(Amazon)。自20世紀(jì)90年代初期以來，所有人都大量使用著我在德國和瑞士實驗室開發(fā)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，特別是長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory network，LSTM)。這些算法是由我與我的同事Sepp Hochreiter、Felix Gers、Alex Graves和其他由歐洲納稅人資助的優(yōu)秀學(xué)生和博士后發(fā)表在幾篇論文中的內(nèi)容。最初，這種LSTM是很笨拙的，它什么都不知道。但它可以通過經(jīng)驗進行自我學(xué)習(xí)。這種機制有點受人類大腦皮層的啟發(fā)，在人類大腦皮層中，有超過150億個神經(jīng)元，且每個神經(jīng)元都平均與其他10,000個神經(jīng)元相連。輸入型神經(jīng)元向其余神經(jīng)元提供數(shù)據(jù)(聽覺，視覺，痛覺);輸出型神經(jīng)元觸發(fā)肌肉活動;思維神經(jīng)元隱藏在兩者之間。這些都是通過改變連接強度來影響神經(jīng)元相互影響的強度。
我們的LSTM是一種人工遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)，它在許多應(yīng)用中都有優(yōu)于以前的方法。LSTM可以通過學(xué)習(xí)來控制機器人、分析圖像、匯總文檔、識別視頻和字體、操作聊天機器人、預(yù)測疾病、點擊率和股票市場、編曲等等。LSTM已經(jīng)成為現(xiàn)在所謂的深度學(xué)習(xí)的基礎(chǔ)，特別是對于連續(xù)的數(shù)據(jù)來說應(yīng)用廣泛(注意大多數(shù)真實世界的數(shù)據(jù)都是連續(xù)的)。
2015年，LSTM大大提升了谷歌Google的語音識別能力，目前已應(yīng)用于超過20億部的安卓手機。LSTM也是自2016年以后谷歌擁有更新、更好翻譯服務(wù)的核心。LSTM同樣被應(yīng)用于蘋果公司近10億部蘋果手機的快速輸入(QuickType)和蘋果智能語音助手(Siri)中。LSTM還負(fù)責(zé)著亞馬遜語音助手(Alexa)的語音回復(fù)功能。
截至2016年，在所有的谷歌數(shù)據(jù)中心中，近30%用于推理的強大的計算機采用了LSTM。截至2017年，臉書每天使用LSTM進行高達45億次的翻譯(每秒超過50,000次)。與此同時，我們的其他深度學(xué)習(xí)算法現(xiàn)在也可供數(shù)十億的用戶使用。也就是說，您可能一直在使用LSTM。
與傳統(tǒng)的深度學(xué)習(xí)如多層前饋神經(jīng)網(wǎng)絡(luò)(feed-forward neural networks， FNNs)相比，我們將基于人工遞歸神經(jīng)網(wǎng)絡(luò)的方法稱為“一般深度學(xué)習(xí)”。多層前饋神經(jīng)網(wǎng)絡(luò)是一種傳統(tǒng)深度學(xué)習(xí)的方法，由Ivakhnenko和Lapa(1965)于半個多世紀(jì)前在烏克蘭(當(dāng)時還是蘇聯(lián)的一部分)開發(fā)。與多層前饋神經(jīng)網(wǎng)絡(luò)不同，像LSTM這樣的人工遞歸神經(jīng)網(wǎng)絡(luò)具有通用的并行順序計算架構(gòu)。人工遞歸神經(jīng)網(wǎng)絡(luò)與受到更多限制的多層前饋神經(jīng)網(wǎng)絡(luò)之間的差別，類似于計算機與計算器之間的差別。
到20世紀(jì)90年代初，我們的深度人工遞歸神經(jīng)網(wǎng)絡(luò)(是無監(jiān)督式算法)可以通過學(xué)習(xí)來解決許多以前無法解決的任務(wù)。但這只是一個開始。每過五年，計算機的速度大約提高10倍/美元。這種趨勢比摩爾定律更早;自從Konrad Zuse在1935年至1941年期間建造了第一臺可操作的程控計算機以來(該計算機每秒可執(zhí)行大約一次基本操作)，該趨勢始終未變。在75年后的今天，計算機性能提升了大約一百萬億倍，LSTM也從這種加速中獲益匪淺。
今天最大的LSTM有十億個連接左右。以這一趨勢推斷，在25年內(nèi)我們可能以較低成本，制造出人體大腦皮質(zhì)規(guī)模的LSTM，其電子連接超過100,000億，并且比生物連接的傳輸速度快得多。在幾十年后，我們或許能夠以低廉的成本，制造出具有整個星球100億人類大腦總和計算能力的計算機。就算是如此強大的計算機，其每秒可執(zhí)行有意義的基本操作次數(shù)仍然可能無法超過1030次。而Bremermann所給出的1千克計算基質(zhì)的物理極限(1982)比這個數(shù)值還大1020倍。因此，在下個世紀(jì)之前，以上這種趨勢都不會到達極限，但這個趨勢也很快了，畢竟一個世紀(jì)在人類一萬年的文明長河中只占1%。
然而，LSTM本身是一種有監(jiān)督式算法，因此對于真正的人工智能來說是不夠的，真正的人工智能是能在沒有老師的情況下，自發(fā)地通過學(xué)習(xí)去解決最初未知環(huán)境中的各種問題。這就是為什么三十年來我一直在發(fā)布更多的普適性人工智能。
自1990年以來，我的一個特別關(guān)注點就是那些無監(jiān)督式的人工智能，它們展現(xiàn)了我所謂的“人工好奇心”和創(chuàng)造力。它們可以自主提出目標(biāo)和實驗，以弄清楚世界是如何運作的，以及它可以在其中做些什么。此類人工智能可以使用LSTM作為一種子模塊，這種子模塊可以通過學(xué)習(xí)來預(yù)測行為后果。 它們不是盲目地模仿人類教師，而是有點類似于兒童，通過不斷創(chuàng)造和解決它們自己的并且以前無法解決的新問題，在這個過程中通過成為越來越多的問題的解決者來獲得回報(流行語：PowerPlay，2011)。以此，我們已經(jīng)創(chuàng)造了一個簡單的“人造科學(xué)家”。
我從這項工作中推斷，在不久的將來，我們將擁有一個這樣的人工智能：它將會逐漸通過學(xué)習(xí)變得像一個小動物一樣聰明、好奇并充滿創(chuàng)造力地不斷學(xué)習(xí)如何快速地計劃、推理和分解各種各樣的問題，并將其分解為可解決的(或已經(jīng)解決的)子問題。在我們發(fā)明出了猴級(與猴子一樣聰明的)AI之后，可能還會發(fā)明出有著真正無限用途的人級AI。
并且一切還不會止步于此。許多有好奇心的并可以提出自己目標(biāo)的人工智能會迅速地提升自己，僅受可計算性和物理學(xué)的基本限制。它們會做什么?宇宙空間并不適合人類生存，但相當(dāng)適合設(shè)計得當(dāng)?shù)臋C器人，而且宇宙比我們生物圈薄膜提供更多的資源(生物圈薄膜僅接收不到十億分之一的太陽光)。雖然在一些人工智能至少在它們未能完全理解生命之前，對生命著迷，但大多數(shù)人工智能都會對太空中只有機器人和軟件生命的美好未來更感興趣。在小行星帶及更遠(yuǎn)的地方，通過無數(shù)個自我復(fù)制的機器人工廠，這些人工智能將改變太陽系，然后在幾十萬年之內(nèi)，遍布整個星系和數(shù)十億年之內(nèi)，而它們的擴張速度或許只會受到光速的限制。(人工智能或其部分可能通過無線電從發(fā)射機傳送到接收機——盡管將發(fā)射接收機送至目的地需要相當(dāng)長的時間。)
這將與20世紀(jì)科幻小說中描述的場景截然不同，盡管科幻小說也以銀河帝國和聰明的人工智能為主角。但是大多數(shù)小說的情節(jié)都是以人為中心的，因而不切實際。例如，為了使短暫的人類壽命與廣闊的星系空間相適應(yīng)，科幻小說的作者發(fā)明了物理上不可能的技術(shù)，例如折越引擎(warp drives)。然而，人工智能擴展在物理速度限制方面不會有任何問題。由于宇宙壽命將會是其目前年齡138億年的很多倍，因此人工智能可能將會有足夠的時間來實現(xiàn)這一切。
許多科幻小說都只會寫到一種人工智能統(tǒng)治一切。但更現(xiàn)實的情況是，各種各樣的人工智能試圖優(yōu)化各種部分沖突(且快速發(fā)展)的效用函數(shù)，其中許多是自動生成的(我的實驗室在剛剛結(jié)束的千年里已經(jīng)進化出效用函數(shù))。在這之中，每個人工智能都在不斷努力生存下去，并適應(yīng)人工智能生態(tài)系統(tǒng)中快速變化的棲身之地，這些生態(tài)系統(tǒng)是由激烈的競爭和協(xié)作驅(qū)動的，而且超出了我們目前的想象。
一些人可能希望通過腦部掃描將“思維上傳”到虛擬現(xiàn)實或機器人中，成為這些生態(tài)系統(tǒng)中不朽的一部分，這是自20世紀(jì)60年代以來在小說中討論的物理上可行的想法。然而，為了在快速發(fā)展的人工智能生態(tài)中競爭，上傳的人類思維最終將不得不變得面目全非，并在這個過程中逐漸成為一些不同于我們想象的東西。
因此，人類將不會在宇宙中智慧傳播方面發(fā)揮重要作用。但那沒關(guān)系。 不要認(rèn)為人類是創(chuàng)造之王。相反，將人類文明視為更宏偉的計劃的一部分，這只是宇宙走向更高復(fù)雜性的重要步驟(但不是最后一步)。現(xiàn)在它似乎已準(zhǔn)備好邁出下一步，這一步甚至可與35億年前生命的出現(xiàn)相媲美。
這不僅僅是另一場工業(yè)革命，這更是超越人類乃至生物學(xué)范疇的新事物。 能夠見證它的起源并為此做出貢獻是一種榮幸。
京公網(wǎng)安備 11010502049343號