深度學(xué)習(xí)是大數(shù)據(jù)下最熱門的趨勢之一,這項技術(shù)將對自然語言處理和圖像識別等前沿領(lǐng)域提供支持。Gigaom.com網(wǎng)站整理了一個指南:深度學(xué)習(xí)領(lǐng)域的快速發(fā)展,鼓舞著越來越多在自然語言處理和圖像識別等領(lǐng)域的初創(chuàng)企業(yè)去研究它。同時,包括Google、微軟、Facebook和雅虎在內(nèi)的科技巨頭,在深度學(xué)習(xí)方面的投入也在提高。也有不少高校的研究機構(gòu)也在該領(lǐng)域在做著前沿的研究。
什么是深度學(xué)習(xí)?
Google深度學(xué)習(xí)模型
人們對這個概念存在誤區(qū),深入學(xué)習(xí)并不是真的教授機器模仿人類的大腦主動思考。相反,根據(jù)Google的深度學(xué)習(xí)模型,它在教授機器逐級往下處理信息,并能根據(jù)前后的意思去修正,思考過程逐漸從簡單到復(fù)雜。整個工作下來,就如同一只動物慢慢意識到它所有的特定功能,并把這些功能連貫在一起。例如,在文本處理方面,過程便是教機器如何認(rèn)識單詞之間的相互關(guān)聯(lián),以及如何將單詞結(jié)合在一起形成短語或表達含義。
雖然深度學(xué)習(xí)存在許多亟待解決的難題,但研究者們都迫切希望新輪的研究能夠更精確地處理文本信息、搜索、翻譯和目標(biāo)內(nèi)容的處理,因為數(shù)據(jù)作為當(dāng)前最大的金礦,奪得先機就意味著更多的財富。
在這個意義上說,深度學(xué)習(xí)離不開它的孿生兄弟“大數(shù)據(jù)”。對該方面的研究最早從硅谷開始,逐漸延伸到醫(yī)學(xué)和科學(xué)等領(lǐng)域時,才會有巨額的回報。更重要的是——深度學(xué)習(xí)模型計算能力越強,它的成本反而會越便宜。越來越多的資源通過云計算實現(xiàn),也就意味著人們無需自建數(shù)據(jù)中心,也能提交想要處理的請求。讓我們先來看看這個領(lǐng)域的初創(chuàng)企業(yè):
初創(chuàng)公司
AlchemyAPI :這是科羅拉多州丹佛的一家創(chuàng)業(yè)公司,它通過API提供基于深度學(xué)習(xí)的文本分析,最近還展示了最新圖像識別技術(shù)。有許多公司通過它提供的服務(wù),提取關(guān)鍵詞進行情感分析、內(nèi)容分類和標(biāo)記。 AlchemyAPI目前致力于讓它的功能更實用, 以此吸引那些對通過API實現(xiàn)服務(wù)不感興趣的群體。
Cortica :Cortica提供專業(yè)級的圖像識別技術(shù),它的原理是仿照人類在識別圖像時大腦皮質(zhì)中神經(jīng)網(wǎng)絡(luò)的圖像處理的方式。它的聯(lián)合創(chuàng)始人兼CEO Igal Raichelgauz稱,這項技術(shù)源自他之前在以色列理工學(xué)院的實驗室,對于大腦組織的研究。該公司將他們的產(chǎn)品出售給出版商和廣告商,用以展示與頁面圖片內(nèi)容相關(guān)的廣告內(nèi)容。
Ersatz:Ersatz是一個深度學(xué)習(xí)的平臺,它由舊金山名為Blackcloud BSG的咨詢公司發(fā)展而來。不止圖像識別和情感分析等基礎(chǔ)服務(wù),它還提供了深度學(xué)習(xí)的企業(yè)級工具,為深度學(xué)習(xí)設(shè)計了類似亞馬遜云計算這樣的產(chǎn)品。他給予用戶網(wǎng)頁交互界面、API、基于云端資源的GPU和神經(jīng)網(wǎng)絡(luò)的執(zhí)行。它能夠讓用戶以他們需要的方式,組建和運行模型。使用者為這些模型,支付費用給Blackcloud。
Semantria:總部位于馬薩諸塞州艾摩斯特市,它是文本分析老將Lexalytics的一款副產(chǎn)品,他通過API和Excel插件實現(xiàn)功能,而不需要安裝軟件。它的創(chuàng)始人兼CEO Oleg Rogynskyy稱,公司通過整合更多深度學(xué)習(xí)的方法和擴展除維基百科(Lexalytics 引擎獲取語義知識的地方)之外的數(shù)據(jù)源,來提高服務(wù)的精度。
這些公司只是未來深度學(xué)習(xí)發(fā)展趨勢的一小部分案例。許多知名的深度學(xué)習(xí)的學(xué)者,正在一些初創(chuàng)公司中準(zhǔn)備一些新的秘密模型,與已經(jīng)成熟的圖形識別公司Dropcam和Sight Machine的產(chǎn)品相比,可能沒有太多的驚喜。但還有許多其他的公司,諸如Palm創(chuàng)始人Jeff Hawkins新公司Grok,它的產(chǎn)品將跨越深度學(xué)習(xí)和實際類人腦的計算架構(gòu)的界限,或許能推向深度學(xué)習(xí)走向新的境界。
科技巨頭
Google:Google是深入學(xué)習(xí)領(lǐng)域中最著名的公司,這要歸功于它高度公開的圖像識別領(lǐng)域的研究(這個模型不需要訓(xùn)練,就能夠識別貓臉和人臉)。最近它又決定將開源一些文本分析的新工具。Google之所以能夠做這么多的事情,主要原因是它有大量的資源、許多聰明的工程師和足夠大體量的數(shù)據(jù)。深度學(xué)習(xí)已經(jīng)支持Andriod手機上的語音識別,你還能直接在Google+上搜索圖片,即便這些圖片沒有任何標(biāo)簽。
IBM :你聽說過Watson嗎?這個IBM系統(tǒng),在智力競賽節(jié)目《危險邊緣》中,擊敗了所有對手獲得冠軍。比賽過程中沒有聯(lián)網(wǎng),而是利用多個算法應(yīng)對競賽中的挑戰(zhàn)。現(xiàn)在,這個技術(shù)被應(yīng)用到醫(yī)療保健等領(lǐng)域,它整合了大量的數(shù)據(jù)分析技術(shù),其中就包含深度學(xué)習(xí)。除此之外,IBM還圍繞“認(rèn)知計算”作了大量的努力。IBM還聯(lián)合四家高校進行科研合作,并把深度學(xué)習(xí)作為其中的一個核心。
微軟:微軟研究院對大數(shù)據(jù)進行了長年的研究。去年11月,主管Rich Rashid因為在現(xiàn)場展示微軟在深度學(xué)醫(yī)領(lǐng)域的最新進展——普通話和英語的同聲傳譯技術(shù),讓他成為各家媒體的頭條。和Google一樣,微軟也在想方設(shè)法從網(wǎng)絡(luò)和移動應(yīng)用收集各種數(shù)據(jù),并希望深入學(xué)習(xí)能幫助它在其網(wǎng)頁、移動、游戲,甚至商業(yè)軟件平臺提供更迷人的體驗,而這背后最大的王牌可能是Kinect技術(shù)。
雅虎:雅虎沒有像Google和微軟那樣得到注目,但它在過去的幾個月里,分別收購了兩家基于深度學(xué)習(xí)的圖像識別公司, IQ Engines和LookFlow。雅虎本應(yīng)該有各種各樣的方式去利用這些技術(shù)和人才,但目前的重心只是讓Flickr變得更具吸引力,讓它在移動端的設(shè)置更簡單智能。
研究機構(gòu)
多倫多大學(xué)研究小組:這個研究小組由Geoffrey Hinton領(lǐng)導(dǎo),幾年來在深度學(xué)習(xí)領(lǐng)域有許多重大的突破,2013年他創(chuàng)建的DNNresearch被Google收購。 Hinton現(xiàn)在在多倫多大學(xué)和Google之間奔走。Marc’Aurelio Ranzato曾是Hinton實驗室的成員,最近,他離開Google,成為Facebook深度學(xué)習(xí)小組的一員。
斯坦福大學(xué)研究小組:斯坦福大學(xué)擁有許多該領(lǐng)域的專家,以及Coursera創(chuàng)始人Andrew Ng。目前,Christopher Manning領(lǐng)導(dǎo)學(xué)校的深度學(xué)習(xí)小組。這個團隊有一位博士候選人Richard Socher,它的研究側(cè)重于對整個句子的理解,而不是單個單詞。目前,對于在分析電影評論情感分析的準(zhǔn)確率已經(jīng)達到85%。
(Socher的模型如何拆解句子)
紐約大學(xué)研究小組:Yann LeCun和Rob Fergus都是紐約大學(xué)的圖像識別領(lǐng)域的專家。他們在一起做了許多開創(chuàng)性的工作,比如90年代的筆跡識別。目前,他們正在研究讓計算神經(jīng)網(wǎng)絡(luò)更加簡單。紐約大學(xué)也是“IBM認(rèn)知計算”的合作伙伴之一。
蒙特利爾研究小組:蒙特利爾大學(xué)的LIST實驗室,它由Yoshua Bengio領(lǐng)導(dǎo),是另一個深入學(xué)習(xí)的主要研究中心,并創(chuàng)造了一個開源數(shù)據(jù)庫Theano(下載地址)。它能使得復(fù)雜的程序語言Python變得更加簡單,同時讓這種語言在GPU上運行(Python語言與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的并行特點,使它成為最理想的語言)。
瑞士研究小組:Juergen Schmidhuber和人工智能研究所Dalle Molle學(xué)院,在1991年就開始研究深度學(xué)習(xí)了。現(xiàn)在的處理能力已經(jīng)趕上了他們開發(fā)的模型,他們的工作需要進入下一個階段。該團隊已經(jīng)贏得了無數(shù)的競賽,其中包括一場人腦圖像識別的競賽。