我們大多數(shù)人都認(rèn)為：人工智能的終極目標(biāo)是為了建造能夠完成任務(wù)和認(rèn)知功能的機(jī)器，否則這些機(jī)器只能在人類的智能范圍內(nèi)從事相關(guān)工作。為了實(shí)現(xiàn)這一目標(biāo)，機(jī)器必須能夠自主學(xué)習(xí)這些能力，而不是讓每個(gè)功能都被端到端地明確編程。
人工智能領(lǐng)域在過去十年中取得了巨大進(jìn)步，從自動駕駛汽車到語音識別及合成，這一點(diǎn)令人驚訝。在這種背景下，人工智能已經(jīng)成為越來越多公司和家庭的話題，他們不再將人工智能視為一種需要 20 年時(shí)間開發(fā)的技術(shù)，而是影響他們今天生活的東西。
事實(shí)上，流行的新聞報(bào)道幾乎每天都會報(bào)道 AI 和技術(shù)巨頭，闡述他們重要的長期人工智能策略。雖然一些投資者和老牌企業(yè)都渴望了解如何在這個(gè)新世界中攫取價(jià)值，但大多數(shù)人仍在摸索著想出這一切意味著什么。與此同時(shí)，各國政府正在努力應(yīng)對自動化在社會中的影響(見奧巴馬的告別演說)。
鑒于 AI 將影響整個(gè)經(jīng)濟(jì)，而這些討論中的參與者代表了社會上觀點(diǎn)的整體分布、理解水平以及構(gòu)建或使用 AI 系統(tǒng)的經(jīng)驗(yàn)程度。因此，對人工智能的討論至關(guān)重要—包括由此產(chǎn)生的問題、結(jié)論和建議—必須以數(shù)據(jù)和現(xiàn)實(shí)為基礎(chǔ)，而不是猜想，這點(diǎn)至關(guān)重要。
畢竟各種民間大V從公布的研究、科技新聞公告、投機(jī)評論和思想實(shí)驗(yàn)中大肆推斷其中的含義，這太容易了(有時(shí)令人興奮!)。
尤其值得注意人工智能的六個(gè)領(lǐng)域，在影響數(shù)字產(chǎn)品和服務(wù)的未來方面產(chǎn)生的作用。我將會闡述它們分別是什么、為什么它們很重要、它們今天如何被使用，并列出了從事這些技術(shù)的公司和研究人員的清單(并非詳盡無遺)。
1、強(qiáng)化學(xué)習(xí)(RL)
RL 是一種通過試錯(cuò)來學(xué)習(xí)的范例，這種反復(fù)試錯(cuò)受到人類學(xué)習(xí)新任務(wù)的方式啟發(fā)。在典型的 RL 設(shè)置中，智能體的任務(wù)是在數(shù)字環(huán)境中觀察其當(dāng)前狀態(tài)，并采取最大化其已設(shè)置的長期獎勵的累積的動作。 該智能體接收來自環(huán)境的每個(gè)動作結(jié)果的反饋，以便它知道該動作是否促進(jìn)或阻礙其進(jìn)展。
因此，RL 的 智能體必須平衡對其環(huán)境的探索，以找到獲得獎勵的最佳策略，并利用其發(fā)現(xiàn)的最佳策略來實(shí)現(xiàn)預(yù)期目標(biāo)。這種方法在 Google DeepMind 的 Atari 游戲和 Go 中(https://www.youtube.com/watch?v=Ih8EfvOzBOY)非常流行。
RL 在現(xiàn)實(shí)世界中工作的一個(gè)例子，是優(yōu)化能源效率以冷卻 Google 數(shù)據(jù)中心。在此項(xiàng)目中，RL 使得該系統(tǒng)的冷卻成本降低了 40%。在可以模擬的環(huán)境(例如視頻游戲)中使用 RL 智能體的一個(gè)重要的原生優(yōu)勢是，訓(xùn)練數(shù)據(jù)可以以非常低的成本生成。這與監(jiān)督式的深度學(xué)習(xí)任務(wù)形成鮮明對比，后者通常需要昂貴且難以從現(xiàn)實(shí)世界中獲取的訓(xùn)練數(shù)據(jù)。
應(yīng)用程序：多個(gè)智能體在他們自己的環(huán)境實(shí)例中學(xué)習(xí)共享模型，或者通過在同一環(huán)境中相互交互和學(xué)習(xí)，學(xué)習(xí)在迷宮或城市街道等 3D 環(huán)境中進(jìn)行自動駕駛，通過學(xué)習(xí)任務(wù)目標(biāo)(例如學(xué)習(xí)駕駛或賦予非玩家視頻游戲角色以類似人的行為)反向強(qiáng)化學(xué)習(xí)以概括觀察到的行為。
頂尖專業(yè)：Pieter Abbeel(OpenAI)，David Silver，Nando de Freitas，Raia Hadsell，Marc Bellemare(谷歌 DeepMind)，Carl Rasmussen(劍橋)，Rich Sutton(阿爾伯塔大學(xué))，John Shawe-Taylor(UCL)等。
代表公司：Google DeepMind，Prowler.io，Osaro，MicroPSI，Maluuba / Microsoft，NVIDIA，Mobileye，OpenAI。
2、生成模型
與用于分類或回歸任務(wù)的判別模型不同，生成模型學(xué)習(xí)訓(xùn)練樣本的概率分布。通過從這種高維分布中抽樣，生成模型輸出與訓(xùn)練數(shù)據(jù)類似的新例子。這意味著，例如：在面部的真實(shí)圖像上訓(xùn)練的生成模型，可以輸出相似面部的新合成圖像。有關(guān)這些模型如何工作的更多詳細(xì)信息，請參閱 Ian Goodfellow 的 NIPS 2016 指導(dǎo)手冊(https://arxiv.org/abs/1701.00160)。
他引入的架構(gòu)，生成對抗網(wǎng)絡(luò)(GAN)，現(xiàn)在在研究領(lǐng)域特別熱門，因?yàn)樗鼈優(yōu)闊o監(jiān)督學(xué)習(xí)提供了一條道路。
對于 GAN，有兩個(gè)神經(jīng)網(wǎng)絡(luò)：
一個(gè)生成器，它將隨機(jī)噪聲作為輸入，負(fù)責(zé)合成內(nèi)容(例如：一個(gè)圖像);
一個(gè)鑒別器，它了解了真實(shí)圖像的樣子，并負(fù)責(zé)識別生成器生成的圖像是真實(shí)的還是偽造的。
對抗訓(xùn)練可以被認(rèn)為是一種游戲，其中生成器必須迭代地學(xué)習(xí)如何從噪聲創(chuàng)建圖像，使得鑒別器不再能夠?qū)⑸傻膱D像與真實(shí)的圖像區(qū)分開。該框架正在擴(kuò)展到許多數(shù)據(jù)模式和任務(wù)。
應(yīng)用范圍：模擬時(shí)間序列的可能未來(例如：用于強(qiáng)化學(xué)習(xí)中的規(guī)劃任務(wù));超分辨率圖像;從 2D 圖像重建 3D 結(jié)構(gòu); 從小標(biāo)記數(shù)據(jù)集推廣;一個(gè)輸入可以產(chǎn)生多個(gè)正確輸出的任務(wù)(例如：預(yù)測視頻 0 中的下一幀;在會話界面中運(yùn)用自然語言處理(例如：機(jī)器人);加密;當(dāng)不是所有標(biāo)簽都可用時(shí)運(yùn)用半監(jiān)督學(xué)習(xí);藝術(shù)風(fēng)格轉(zhuǎn)移;合成音樂和聲音;圖像修復(fù)。
代表公司：Twitter Cortex，Adobe，Apple，Prisma，Jukedeck*，Creative.ai，Gluru*，Mapillary*，Unbabel。
頂尖專家：Ian Goodfellow (OpenAI)，Yann LeCun and Soumith Chintala (Facebook AI Research)，Shakir Mohamed and Aäron van den Oord (Google DeepMind)，Alyosha Efros (Berkeley) and 其他的專家。
3、記憶網(wǎng)絡(luò)
為了讓 AI 系統(tǒng)像我們一樣在不同的環(huán)境中都能得到適用，他們必須能夠不斷學(xué)習(xí)新任務(wù)并記住如何在未來完成所有任務(wù)。然而，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)通常不能進(jìn)行這種連續(xù)的任務(wù)學(xué)習(xí)，這個(gè)缺點(diǎn)被稱為災(zāi)難性遺忘。
之所以出現(xiàn)這種情況，是因?yàn)楫?dāng)網(wǎng)絡(luò)隨后經(jīng)過訓(xùn)練以解決任務(wù) B 時(shí)，網(wǎng)絡(luò)中對于任務(wù) A 來說很重要的權(quán)重會發(fā)生變化。
然而，有幾種強(qiáng)大的架構(gòu)可以賦予神經(jīng)網(wǎng)絡(luò)不同程度的記憶性。這些包括能夠處理和預(yù)測時(shí)間序列的長短期記憶網(wǎng)絡(luò)(遞歸神經(jīng)網(wǎng)絡(luò)的一種變體)，DeepMind 的可微分神經(jīng)計(jì)算機(jī)，它結(jié)合了神經(jīng)網(wǎng)絡(luò)和記憶系統(tǒng)，以便自己學(xué)習(xí)和導(dǎo)航復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，彈性權(quán)重合并算法。根據(jù)它們對先前看到的任務(wù)的重要程度，減慢對某些權(quán)重的學(xué)習(xí)，以及學(xué)習(xí)特定任務(wù)的模型之間的橫向連接的漸進(jìn)式神經(jīng)網(wǎng)絡(luò)，以從先前學(xué)習(xí)的網(wǎng)絡(luò)中為新任務(wù)提取有用的特征。
應(yīng)用范圍：可以推廣到新環(huán)境的學(xué)習(xí)智能體;機(jī)器人手臂控制系統(tǒng);自動駕駛汽車;時(shí)間序列預(yù)測(例如：金融市場、視頻、物聯(lián)網(wǎng));自然語言處理和下一步預(yù)測。
代表公司：Google DeepMind，NNaisense，SwiftKey/Microsoft Research，F(xiàn)acebook AI Research。
頂尖專家：Alex Graves，Raia Hadsell，Koray Kavukcuoglu(Google DeepMind)，Jürgen Schmidhuber(IDSIA)，Geoffrey Hinton(Google Brain/Toronto)，James Weston，Sumit Chopra，Antoine Bordes(FAIR)。
4、從較少數(shù)據(jù)學(xué)習(xí)并構(gòu)建更小的模型
深度學(xué)習(xí)模型值得注意的是需要大量的訓(xùn)練數(shù)據(jù)，才能達(dá)到最先進(jìn)的性能。例如：ImageNet 大規(guī)模視覺識別挑戰(zhàn)賽中，每支隊(duì)伍需要挑戰(zhàn)他們的圖像識別模型，包含 120 萬個(gè)手工標(biāo)記 1000 個(gè)對象類別的訓(xùn)練圖像。
如果沒有大規(guī)模的訓(xùn)練數(shù)據(jù)，深度學(xué)習(xí)模型將無法收斂于其最佳設(shè)置，并且在語音識別或機(jī)器翻譯等復(fù)雜任務(wù)上表現(xiàn)不佳。只有當(dāng)單個(gè)神經(jīng)網(wǎng)絡(luò)用于端到端解決問題時(shí)，此數(shù)據(jù)要求才會增長。也就是說，將語音的原始錄音作為輸入并輸出語音的文本轉(zhuǎn)錄。
這與使用多個(gè)網(wǎng)絡(luò)形成對比，每個(gè)網(wǎng)絡(luò)各自提供中間表示(例如：原始語音音頻輸入→音位→單詞→文本轉(zhuǎn)錄輸出，或來自直接映射到轉(zhuǎn)向命令的相機(jī)的原始圖像)。如果我們希望 AI 系統(tǒng)能夠解決訓(xùn)練數(shù)據(jù)特別具有挑戰(zhàn)性、成本高、敏感或耗時(shí)的任務(wù)，那么開發(fā)能夠從較少的樣本(即一次或零次學(xué)習(xí))學(xué)習(xí)最佳解決方案的模型非常重要。
在對小型數(shù)據(jù)集進(jìn)行培訓(xùn)時(shí)，難點(diǎn)包括過度擬合，處理異常值的困難，訓(xùn)練和測試之間數(shù)據(jù)分布的差異。另一種方法是通過使用統(tǒng)稱為遷移學(xué)習(xí)的過程來遷移從先前任務(wù)獲得的機(jī)器學(xué)習(xí)模型的知識來改進(jìn)新任務(wù)的學(xué)習(xí)。
一個(gè)相關(guān)的問題是使用類似數(shù)量或明顯更少的參數(shù)，構(gòu)建具有最先進(jìn)性能的較小的深度學(xué)習(xí)架構(gòu)。優(yōu)點(diǎn)包括更高效的分布式培訓(xùn)，因?yàn)閿?shù)據(jù)需要在服務(wù)器之間進(jìn)行通信，將新模型從云端導(dǎo)出到外圍設(shè)備的帶寬更少，以及部署到內(nèi)存有限的硬件的可行性得到提高。
京公網(wǎng)安備 11010502049343號