摘要 : 人們總是問我如何有效的成為一名數(shù)據(jù)科學(xué)家。我的經(jīng)歷是先成為一名軟件工程師，然后讀了數(shù)據(jù)科學(xué)相關(guān)的PhD (是在它變成熱點(diǎn)之前)。在這篇文章里，基于我在這個領(lǐng)域的經(jīng)驗(yàn)總結(jié)，給出了成為數(shù)據(jù)學(xué)家的首要步驟，目的是為了幫助那些想從純軟件工程領(lǐng)域轉(zhuǎn)行到數(shù)據(jù)科學(xué)。

人們總是問我如何有效的成為一名數(shù)據(jù)科學(xué)家。我的經(jīng)歷是先成為一名軟件工程師，然后讀了數(shù)據(jù)科學(xué)相關(guān)的PhD (是在它變成熱點(diǎn)之前)。在這篇文章里，基于我在這個領(lǐng)域的經(jīng)驗(yàn)總結(jié)，給出了成為數(shù)據(jù)學(xué)家的首要步驟，目的是為了幫助那些想從純軟件工程領(lǐng)域轉(zhuǎn)行到數(shù)據(jù)科學(xué)。

當(dāng)我們就讀PhD 課程的過程中，如果你已經(jīng)明確要成為一名數(shù)據(jù)科學(xué)家，那么我并不建議使用傳統(tǒng)的學(xué)習(xí)方法。當(dāng)我們自主學(xué)習(xí)時，我們可以從互聯(lián)網(wǎng)上找到大量可用的學(xué)習(xí)資料。事實(shí)上，我們可以比讀一個PhD進(jìn)步的更快，因?yàn)镻hD項(xiàng)目有很多循規(guī)蹈矩的事情花費(fèi)我們大量的精力。

這篇文章由五個相關(guān)步驟構(gòu)成。盡管我列出了順序，但是很多步驟可以同時進(jìn)行。這些步驟大體出自于我的第一篇論文，由Ingrid Zukerman 和 Fabian Bohnert聯(lián)名出版。讀者們?nèi)绻肓私飧嘣斍椋垍⒁娫幕蛘呶艺撐牡牡诹鹿?jié)，其中包括了更多詳盡的實(shí)驗(yàn)和總結(jié)。

第一步：從解決一個難題開始

盡管你對于數(shù)據(jù)科學(xué)領(lǐng)域的機(jī)器學(xué)習(xí)和數(shù)據(jù)方面一無所知，從解決一個難題開始非常重要。理想化的，你可以找一些自己感興趣的東西，因?yàn)檫@樣做起來會更有激情。

你可以用一些原有的難題，例如 Kaggle competition 或者 UCI datasets. 或者你也可以自己搜集數(shù)據(jù)分析，這樣會更具挑戰(zhàn)。

當(dāng)時，我的興趣點(diǎn)是 natural language processing 和 user modeling. 我的導(dǎo)師被授予一批經(jīng)費(fèi)對調(diào)查問卷進(jìn)行情感分析，那也成為了我研究的方向。這個課題很快被著眼于研究作者和他們表達(dá)情感的方式之間的關(guān)系上面，同時也被應(yīng)用于提高情感分析算法的準(zhǔn)確性上面。為了達(dá)到研究目的，我收集了大量IMDb用戶的文本數(shù)據(jù)。難點(diǎn)在于結(jié)合這些用戶自己的評論去推斷他們的等級，假設(shè)考慮作者的身份的方法比忽略其身份背景更有用。

方法二：跨越你知識的屏障

無論你選擇了什么問題，你都會面對跨領(lǐng)域知識的學(xué)習(xí)，像維基百科，教材和網(wǎng)上課程都會是類似機(jī)器學(xué)習(xí)和數(shù)據(jù)，最好的基礎(chǔ)教程。當(dāng)你面對一個具體的難題時，閱讀專業(yè)論文將會有助于你更好地理解眼下這個難題。

讀PhD就是給了我寶貴的時間，例如用一個月時間去閱讀文獻(xiàn)。我閱讀地200多頁地論文中大部分都是有關(guān)情感分析的，那讓我對于這個領(lǐng)域地成就有了全面的了解。然而，最有效的方法時停止閱讀，開始動手解決問題。這也是我認(rèn)為最好的建議：沒有比親自動手解決困難更有效的學(xué)習(xí)方法了。

方法三：弄“臟”你的手

當(dāng)選好的課題和跨領(lǐng)域?qū)W習(xí)都已經(jīng)基本完成，是時候做一個計(jì)劃并且努力實(shí)現(xiàn)它。由于我的背景是軟件工程師以及對于early collaborative filtering approaches to recommender systems的嘗試，我的計(jì)劃很大程度上就像 Leo Breiman 所說的算法模型文化。那就是：我將更多關(guān)注于開發(fā)處理搜集數(shù)據(jù)過程的建模算法。該方法更像是由直線思維的軟件工程師提出來的，而不像是數(shù)學(xué)家或者數(shù)據(jù)學(xué)家的方法。

這個計(jì)劃非常的簡單：

復(fù)制結(jié)果，結(jié)果顯示rating inference 模型是由很多目標(biāo)群體提供的文本測試過的（i.e.,寫了文本的作者的等級是我們用來預(yù)測的）；outperform 模型有更多多樣性的客戶提供的文本測試過的。

用一種被聯(lián)合篩選的方法，以目標(biāo)客戶提供的文本為基礎(chǔ)，把許多單一作者的模型和infer rating 的模型就目標(biāo)群體的共同點(diǎn)進(jìn)行對比。

多種相似的實(shí)驗(yàn)方法基于訓(xùn)練和目標(biāo)客戶提供的大量文本中各種各樣的限制條件。

重復(fù)這些方法直到結(jié)果出來。

這個計(jì)劃的原理是：因?yàn)椴煌娜吮磉_(dá)情緒的方法不同，而相似的人表達(dá)情緒的方法相似（e.g.,不同文化背景下描述事物的方法不同）。最主要的推動因素是 Pang 和 Lee 的發(fā)現(xiàn)－在同一目標(biāo)試驗(yàn)足夠的文本量的模型是最好的。

我當(dāng)時用來實(shí)現(xiàn)這項(xiàng)計(jì)劃的方式與今天我將怎么做截然不同。那是2009年，結(jié)合 Weka package 用Java 的主要模型看起來比我以前用的C/C++是顯著的提高。我很大程度上依賴于學(xué)校網(wǎng)絡(luò)去運(yùn)行實(shí)驗(yàn)和寫一大堆代碼去處理試驗(yàn)邏輯，包括一些 Perl 腳本 for post-processing。 雖然結(jié)果很復(fù)雜，但是那樣確實(shí)很奏效并且我得到了可以用來發(fā)表文章的結(jié)果。如果我當(dāng)時做像今天這樣的工作，我會把 Python用于所有的事情。 IPyhon Notebook 是跟蹤實(shí)驗(yàn)過程很好的方法，以及Python packages 例如 pandas, scikit-learn, gensim, TextBlob, 等，都是對于數(shù)據(jù)科學(xué)入門簡單而成熟的方法。

方法四：發(fā)表你的結(jié)果

制定一個發(fā)表結(jié)果的期限的確很有壓力，但是它會有兩個積極的效應(yīng)。第一，把你的實(shí)驗(yàn)結(jié)果公布開來可以讓你得到有價值的反饋。第二，艱難的截止日期可以有助于你制定切實(shí)的目標(biāo)。你可以一直保持收獲無數(shù)細(xì)小的進(jìn)步，但是出版截止日期可以強(qiáng)制你停下來。

我的例子是，UMAP 2010 會議是我的截止日期，會議承諾的免費(fèi)去夏威夷履行也稱為了一個很好的激勵因素。但是及時你沒有精力和時間去發(fā)表一篇專業(yè)論文，你也應(yīng)該給自己制定一個發(fā)表一些東西在博客或者論壇的截止時間；也或者是一個導(dǎo)師可以關(guān)注到你工作的報(bào)告。得到持續(xù)不斷的反饋是進(jìn)步的主要因素，所以應(yīng)該盡早公布，經(jīng)常公布。

方法五：完善你的結(jié)果并且繼續(xù)前進(jìn)

恭喜你！你已經(jīng)把你的努力公之于眾了。接下來應(yīng)該干什么？你可以繼續(xù)專注于同一個難題－探索更多的方法，加入更多的數(shù)據(jù)，改善限制條件，等。你也可以著眼于其他你感興趣的難題。

我的例子是，因?yàn)槲医酉聛硪獙W(xué)習(xí)的東西與我第一篇論文的試驗(yàn)結(jié)果有關(guān)，我不得不再次回到那個議題。結(jié)果是我把所有的實(shí)驗(yàn)材料都組織整理好去支撐我的論文（寫一篇論文是讀PhD的首要任務(wù)）。如果我可以選擇，我將不會那樣做。我將追求如何有效地加強(qiáng)我的論文，例如用一個客戶為主體，使用更多的切實(shí)全面有效地方法，和測試不同方法而不是僅僅去支持矢量機(jī)器。因此，我仍然在審視核心觀點(diǎn)－在情感分析當(dāng)中，客戶的身份背景應(yīng)該被考慮進(jìn)去，這個方法直到今天仍然切實(shí)有效。但是我已經(jīng)采取了自己地方法并且繼續(xù)進(jìn)行下去。