AI(Artificial Intelligence)是創(chuàng)建于20世紀(jì)60年代的計(jì)算機(jī)科學(xué)的一個(gè)子領(lǐng)域，是關(guān)于解決那些對(duì)人類來講非常容易但是對(duì)計(jì)算機(jī)而言很難的任務(wù)。
因?yàn)閿?shù)據(jù)科學(xué)是個(gè)廣義的學(xué)科，所以這里將從任何業(yè)務(wù)里都可能會(huì)遇到的數(shù)據(jù)科學(xué)家類型開始，通過這個(gè)部分或許你能發(fā)現(xiàn)自己隱藏的數(shù)據(jù)科學(xué)家潛質(zhì)：)正如任何科學(xué)學(xué)科一樣，數(shù)據(jù)科學(xué)家也可能向相關(guān)學(xué)科學(xué)習(xí)借鑒，盡管數(shù)據(jù)科學(xué)已經(jīng)有自己的部分，尤其是自動(dòng)處理超大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的方式和算法，甚至不需要人為干涉，就可以做實(shí)時(shí)處理或者預(yù)測(cè)。
1. 數(shù)據(jù)科學(xué)家的各種類型
想要開始并且了解一些以前的觀點(diǎn)，不妨參考2014年發(fā)布的文章“ 9 types of data scientists”或者同年另一篇文章比較數(shù)據(jù)科學(xué)和“16 analytic disciplines”。更近一點(diǎn)的(2016八月) Ajit Jaokar 討論了Analytics data scientist(Type A)和Builder data scientist(Type B)的不同：
Type A Data Scientists在工作中遇到數(shù)據(jù)相關(guān)時(shí)可以寫出不錯(cuò)的代碼，但是并不必須是專家，這類data scientist可能專業(yè)是實(shí)驗(yàn)設(shè)計(jì)、預(yù)測(cè)、建模、統(tǒng)計(jì)推斷或者其他統(tǒng)計(jì)學(xué)研究的典型部分。但是一般而言，數(shù)據(jù)科學(xué)家的工作產(chǎn)出可不是學(xué)術(shù)統(tǒng)計(jì)學(xué)有時(shí)候建議的那樣“p-values and confidence intervals”(正如有時(shí)候傳統(tǒng)的藥物領(lǐng)域統(tǒng)計(jì)學(xué)家會(huì)用到那樣)。在Google，Type A Data Scientists通常指統(tǒng)計(jì)學(xué)家、定量分析師、決策支持技術(shù)分析師或者數(shù)據(jù)科學(xué)家，可能還有其他的一些。
Type B Data Scientists是building data的。B類和A類有些相同的統(tǒng)計(jì)學(xué)背景，但他們還是更好的coders，可能有專業(yè)的軟件工程的訓(xùn)練。他們主要對(duì)在產(chǎn)品中使用數(shù)據(jù)感興趣，他們建立與用戶交互的模型，通常是提供推薦的(產(chǎn)品、可能認(rèn)識(shí)的人、廣告電影、搜索結(jié)果之類)。
筆者之前還寫過 ABCD's of business processes optimization ，D代表data science，C 代表computer science，B代表business science，A代表analytics science。Data Science可能包括也可能不包括寫代碼或者數(shù)學(xué)實(shí)踐，具體可以參考low-level versus high-level data science。在創(chuàng)業(yè)公司里，數(shù)據(jù)科學(xué)家通常有幾個(gè)頭銜，比如數(shù)據(jù)挖掘師、數(shù)據(jù)工程師或者架構(gòu)師、研究員、統(tǒng)計(jì)員、模型師(預(yù)測(cè)建模)或者開發(fā)者。
盡管data scientist通常被描述成精通R、Python、SQL、Hadoop和統(tǒng)計(jì)學(xué)的程序員，但這只是冰山一角，受一些培訓(xùn)機(jī)構(gòu)引導(dǎo)而來。但就像實(shí)驗(yàn)技術(shù)員可以自稱物理學(xué)家一樣，真正的物理學(xué)家遠(yuǎn)不止這樣，而且領(lǐng)域?qū)I(yè)知識(shí)各種各樣：天文學(xué)、數(shù)學(xué)、物理學(xué)、核物理、力學(xué)、電學(xué)、信號(hào)處理(也是數(shù)據(jù)科學(xué)的一個(gè)子領(lǐng)域)等等。以此類比數(shù)據(jù)科學(xué)家，真正涉及到的領(lǐng)域可能多種多樣，生物信息學(xué)、信息技術(shù)、模擬和質(zhì)量控制、金融工程、傳染病學(xué)、工業(yè)工程等。
筆者過去十年致力于主機(jī)間以及設(shè)備間的通信，建立系統(tǒng)來自動(dòng)處理大規(guī)模數(shù)據(jù)集，以及執(zhí)行一些自動(dòng)交易：比如購買Internet流量或者自動(dòng)化生成內(nèi)容。這些都隱藏著非結(jié)構(gòu)化數(shù)據(jù)算法的開發(fā)需求，這也是AI(artificial Intelligence)、IoT(Internet of thing)、和數(shù)據(jù)科學(xué)的交叉部分，被稱作深度數(shù)據(jù)科學(xué)( deep data science)。這部分相對(duì)而言不需要和數(shù)學(xué)打交道，敲代碼也不多(主要是一些API)，但是確實(shí)是數(shù)據(jù)集中的(包括構(gòu)建數(shù)據(jù)系統(tǒng))，而且基于專門為此設(shè)計(jì)的新的統(tǒng)計(jì)學(xué)方法。
在這之前，筆者主要做實(shí)時(shí)信用卡欺詐偵查，而職業(yè)生涯早期從事圖像遙感技術(shù)，即在衛(wèi)星圖像的各種東西中識(shí)別出特定的模式(或者形狀、特點(diǎn)，比如識(shí)別出湖泊)來實(shí)現(xiàn)圖形分隔：那個(gè)時(shí)候研究被稱作計(jì)算統(tǒng)計(jì)學(xué)，與computer science做相同的事情的人，稱呼他們的研究為Artificial Intelligence。今天，同樣的研究可能被叫做數(shù)據(jù)科學(xué)或者人工智能了，子領(lǐng)域可能就是信號(hào)處理、計(jì)算機(jī)視覺或者是物聯(lián)網(wǎng)。
并且，數(shù)據(jù)科學(xué)家分布在整個(gè)data science projects生命周期的任何時(shí)刻，在數(shù)據(jù)收集階段或者數(shù)據(jù)探索階段，一直到統(tǒng)計(jì)建模和維系既存的系統(tǒng)。
2. 機(jī)器學(xué)習(xí)vs. 深度學(xué)習(xí)
在深度探討machine learning和data science的聯(lián)系之前，這里簡(jiǎn)要地討論一下machine learning 和deep learning。machine learning是一套算法，來訓(xùn)練數(shù)據(jù)集做預(yù)測(cè)或者采取行動(dòng)以使得系統(tǒng)最優(yōu)化。舉例來說，supervised classification algorithms被用來根據(jù)歷史數(shù)據(jù)將想要貸款的客戶分成預(yù)期好的和預(yù)期差的(good or bad prospects)。對(duì)于給定的任務(wù)(比如監(jiān)督聚類)，需要的技術(shù)多種多樣：naive Bayes、SVM、neural nets、ensembles、association rules、decision trees、logistic regression，或者是很多技術(shù)的組合。想要了解更詳細(xì)的算法， click here;了解機(jī)器學(xué)習(xí)的問題， click here。
所有這些都是數(shù)據(jù)科學(xué)的子集。當(dāng)這些算法自動(dòng)化后，比如無人駕駛飛機(jī)或者無人駕駛汽車，這就叫AI了，或者說的具體一點(diǎn)，deep learning。 Click here瀏覽另一篇比較機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的文章。如果采集的數(shù)據(jù)來自傳感器并且通過互聯(lián)網(wǎng)傳播，那么這就是機(jī)器學(xué)習(xí)或數(shù)據(jù)科學(xué)或深度學(xué)習(xí)應(yīng)用于物聯(lián)網(wǎng)了。
有些人對(duì)深度學(xué)習(xí)有不同的定義，他們認(rèn)為深度學(xué)習(xí)是更深層次的神經(jīng)網(wǎng)絡(luò)(一種機(jī)器學(xué)習(xí)的技術(shù))。最近有人在Quora上問這個(gè)問題，下面是一些具體的解釋(來源是Quora)
AI(Artificial Intelligence)是創(chuàng)建于20世紀(jì)60年代的計(jì)算機(jī)科學(xué)的一個(gè)子領(lǐng)域，是關(guān)于解決那些對(duì)人類來講非常容易但是對(duì)計(jì)算機(jī)而言很難的任務(wù)。值得一提的是，所謂的strong AI可能可以做所有人類可以做的事情(可能除了純粹的物理問題)。這是相當(dāng)廣泛的，包括各種各樣的事情，比如做計(jì)劃，在世界上到處溜達(dá)，識(shí)別物體和聲音，說話，翻譯，社交或者商業(yè)交易，還有創(chuàng)造性工作(比如寫詩畫畫)等等。
NLP(Natural language processing)只是AI要處理的語言部分，尤其是寫。
Machine learning是這樣的一種情況：給出一些可以被以離散形式描述的AI問題(比如從一系列動(dòng)作中選出對(duì)的那個(gè))，然后給定一堆外部世界的信息，在不需要程序員手動(dòng)寫程序的情況下選出那個(gè)“正確的”行為。通常情況需要借助外界的一些過程來判斷這個(gè)動(dòng)作對(duì)不對(duì)。在數(shù)學(xué)上，這就是函數(shù)：你給一些輸入，然后你想要他處理一下得到正確的輸出，所以整個(gè)問題就簡(jiǎn)化為用一些自動(dòng)的方式建立這種數(shù)學(xué)函數(shù)模型。和AI區(qū)分一下：如果我寫了一段特別機(jī)智的程序有著人類的行為，那這就可以是AI，但是除非它的參量都是自動(dòng)從數(shù)據(jù)中學(xué)會(huì)的，否則就不是機(jī)器學(xué)習(xí)。
Deep learning是當(dāng)下非常流行的機(jī)器學(xué)習(xí)的一種。它包含一種特殊的數(shù)學(xué)模型，可以想成是一種特定類型的簡(jiǎn)單塊的組合(或者說是塊的功能的組合)，這些塊可以進(jìn)行調(diào)整來更好的預(yù)測(cè)最終結(jié)果。
那么，機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)的不同?這個(gè)文章嘗試回答這個(gè)問題。作者寫到，統(tǒng)計(jì)學(xué)是有著被預(yù)測(cè)量或者被評(píng)估量的置信區(qū)間的機(jī)器學(xué)習(xí)。我傾向于反對(duì)，因?yàn)槲乙呀?jīng)建立了不需要任何數(shù)學(xué)或者統(tǒng)計(jì)學(xué)知識(shí)的工程師友好型置信區(qū)間。
3. Data Science VS Machine Learning
機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)都是數(shù)據(jù)科學(xué)的一部分。Learning這個(gè)詞在machine learning里意味著依賴于某些數(shù)據(jù)的算法，被用作一種訓(xùn)練模式集來調(diào)整一些模型或者算法參數(shù)。這包含很多技術(shù)，比如回歸、樸素貝葉斯或者監(jiān)督聚類。但不是所有的技術(shù)都適合這個(gè)分類。比如，非監(jiān)督聚類——一種統(tǒng)計(jì)學(xué)和數(shù)據(jù)科學(xué)的方法——旨在不依靠任何先驗(yàn)知識(shí)和訓(xùn)練集監(jiān)測(cè)聚類或聚類結(jié)構(gòu)來幫助分類算法。需要有人來標(biāo)注被發(fā)現(xiàn)的聚類。有些技術(shù)是混合的，比如半監(jiān)督分類。有些模式偵查或者密度評(píng)估技術(shù)適合這個(gè)分類。
然而數(shù)據(jù)科學(xué)比機(jī)器學(xué)習(xí)范圍大得多。數(shù)據(jù)科學(xué)里“data”，可能是也可能不是來自機(jī)器或者機(jī)械過程的(調(diào)查結(jié)果可能是人工采集的，臨床試驗(yàn)需要一種特殊類型的small data等)，而且可能和上面提到的”learning”一點(diǎn)關(guān)系也沒有。但是主要的不同還是因?yàn)閿?shù)據(jù)科學(xué)實(shí)際上涵蓋了整個(gè)數(shù)據(jù)處理的范圍，而不只是算法或者統(tǒng)計(jì)學(xué)方面。
當(dāng)然了，在很多組織里，數(shù)據(jù)科學(xué)家只是專注于這個(gè)處理過程的一部分。想要了解一下我對(duì)數(shù)據(jù)科學(xué)的原創(chuàng)貢獻(xiàn)。
京公網(wǎng)安備 11010502049343號(hào)