與其他一些相關(guān)工程職位一樣，數(shù)據(jù)科學(xué)家的影響力與互聯(lián)網(wǎng)同進(jìn)同退。數(shù)據(jù)工程師和數(shù)據(jù)分析師與數(shù)據(jù)科學(xué)家攜手共同完成這幅“大數(shù)據(jù)時(shí)代”巨作。
三者之間的定義又是如何區(qū)分的呢?
數(shù)據(jù)科學(xué)家是什么樣一個(gè)存在呢?
通常情況下，數(shù)據(jù)科學(xué)家有數(shù)學(xué)或物理方面的高等學(xué)位。有博士學(xué)位的情況并不少見，碩士學(xué)位僅是一個(gè)前提條件。數(shù)據(jù)科學(xué)家精通統(tǒng)計(jì)建模以及如何構(gòu)建與定制高級(jí)數(shù)學(xué)算法。這既在他們專業(yè)范圍內(nèi)，也是他們所擅長(zhǎng)的地方。我聽到過(guò)有人這樣形容一個(gè)數(shù)據(jù)科學(xué)家“軟件工程技能牛過(guò)多數(shù)人的酷炫統(tǒng)計(jì)學(xué)家”。
我結(jié)合加工的說(shuō)：所謂數(shù)據(jù)科學(xué)家，是指運(yùn)用統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、分布式處理等技術(shù)，從大量數(shù)據(jù)中提取出對(duì)業(yè)務(wù)有意義的信息，以易懂的形式傳達(dá)給決策者，并創(chuàng)造出新的數(shù)據(jù)運(yùn)用服務(wù)的人才。
數(shù)據(jù)工程師如何定義呢?
數(shù)據(jù)工程師一般被定義成“深刻理解統(tǒng)計(jì)學(xué)科的明星軟件工程師”。如果你正為一個(gè)商業(yè)問(wèn)題煩惱，那么你需要一個(gè)數(shù)據(jù)工程師。這些伙計(jì)就是那些能提供可建模數(shù)據(jù)所需平臺(tái)的人。他們的核心價(jià)值在于他們借由清晰數(shù)據(jù)創(chuàng)建數(shù)據(jù)管道的能力。
數(shù)據(jù)工程師對(duì)演算法有相當(dāng)好的理解。因此，數(shù)據(jù)工程師理應(yīng)能運(yùn)行基本數(shù)據(jù)模型。商業(yè)需求的高端化催生了演算高度復(fù)雜化的需求。很多時(shí)候，這些需求超過(guò)了數(shù)據(jù)工程師掌握知識(shí)范圍，這個(gè)時(shí)候你就需要打電話尋求數(shù)據(jù)科學(xué)家的幫助。
數(shù)據(jù)分析師如何理解呢?
數(shù)據(jù)分析師能洞悉一個(gè)方程式的商業(yè)意義。他們知道如何提出正確的問(wèn)題，非常善于數(shù)據(jù)分析，數(shù)據(jù)可視化和數(shù)據(jù)呈現(xiàn)。不管是給另一個(gè)數(shù)據(jù)分析師還是C級(jí)執(zhí)行做演講，數(shù)據(jù)分析師都是數(shù)據(jù)提取，模式識(shí)別以及從大量數(shù)據(jù)中洞察問(wèn)題方面的能手。
如果你或者你的公司正考慮順應(yīng)這股大數(shù)據(jù)浪潮的發(fā)展，你應(yīng)該從明確你想利用大數(shù)據(jù)解決所面臨的商業(yè)問(wèn)題處下手。接著找出你真正的需求：是數(shù)據(jù)采集，檢索，倉(cāng)儲(chǔ)還是數(shù)據(jù)分析?然后編寫相應(yīng)的職位描述并做好準(zhǔn)備。
從事這三者都要具備哪些技能呢?
數(shù)據(jù)科學(xué)家所需的技能如下：
計(jì)算機(jī)科學(xué)
一般來(lái)說(shuō)，數(shù)據(jù)科學(xué)家大多要求具備編程、計(jì)算機(jī)科學(xué)相關(guān)的專業(yè)背景。簡(jiǎn)單來(lái)說(shuō)，就是對(duì)處理大數(shù)據(jù)所必需的Hadoop、Mahout等大規(guī)模并行處理技術(shù)與機(jī)器學(xué)習(xí)相關(guān)的技能。
數(shù)學(xué)、統(tǒng)計(jì)、數(shù)據(jù)挖掘等
除了數(shù)學(xué)、統(tǒng)計(jì)方面的素養(yǎng)之外，還需要具備使用SPSS、SAS等主流統(tǒng)計(jì)分析軟件的技能。其中，面向統(tǒng)計(jì)分析的開源編程語(yǔ)言及其運(yùn)行環(huán)境“R”最近備受矚目。R的強(qiáng)項(xiàng)不僅在于其包含了豐富的統(tǒng)計(jì)分析庫(kù)，而且具備將結(jié)果進(jìn)行可視化的高品質(zhì)圖表生成功能，并可以通過(guò)簡(jiǎn)單的命令來(lái)運(yùn)行。
數(shù)據(jù)可視化(Visualization)
信息的質(zhì)量很大程度上依賴于其表達(dá)方式。對(duì)數(shù)字羅列所組成的數(shù)據(jù)中所包含的意義進(jìn)行分析，開發(fā)Web原型，使用外部API將圖表、地圖、Dashboard等其他服務(wù)統(tǒng)一起來(lái)，從而使分析結(jié)果可視化，這是對(duì)于數(shù)據(jù)科學(xué)家來(lái)說(shuō)十分重要的技能之一。
數(shù)據(jù)工程師需具備的技能
數(shù)學(xué)及統(tǒng)計(jì)學(xué)相關(guān)的背景
對(duì)于大多數(shù)互聯(lián)網(wǎng)大公司來(lái)說(shuō)，對(duì)于數(shù)據(jù)工程師的要求都是希望是統(tǒng)計(jì)學(xué)和數(shù)學(xué)背景的碩士或博士學(xué)歷，只有具備一定的理論知識(shí)，才能理解模型、復(fù)用模型甚至創(chuàng)新模型，來(lái)解決實(shí)際問(wèn)題。
計(jì)算機(jī)編碼能力
實(shí)際開發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素，因?yàn)樵S多數(shù)據(jù)的價(jià)值來(lái)自于挖掘的過(guò)程，你必須親自動(dòng)手才能發(fā)現(xiàn)金子的價(jià)值。
對(duì)特定應(yīng)用領(lǐng)域或行業(yè)的知識(shí)
數(shù)據(jù)工程師這個(gè)角色很重要的一點(diǎn)是，不能脫離市場(chǎng)，因?yàn)榇髷?shù)據(jù)只有和特定領(lǐng)域的應(yīng)用結(jié)合起來(lái)才能產(chǎn)生價(jià)值。所以，在某個(gè)或多個(gè)垂直行業(yè)的經(jīng)歷能為應(yīng)聘者積累對(duì)行業(yè)的認(rèn)知，對(duì)于之后成為數(shù)據(jù)工程師有很大幫助，因此這也是應(yīng)聘這個(gè)崗位時(shí)較有說(shuō)服力的加分項(xiàng)。
數(shù)據(jù)分析具備的技能
懂業(yè)務(wù)
從事數(shù)據(jù)分析工作的前提就會(huì)需要懂業(yè)務(wù)，即熟悉行業(yè)知識(shí)、公司業(yè)務(wù)及流程，最好有自己獨(dú)到的見解，若脫離行業(yè)認(rèn)知和公司業(yè)務(wù)背景，分析的結(jié)果只會(huì)是脫了線的風(fēng)箏，沒(méi)有太大的使用價(jià)值。
懂管理
一方面是搭建數(shù)據(jù)分析框架的要求，比如確定分析思路就需要用到營(yíng)銷、管理等理論知識(shí)來(lái)指導(dǎo)，如果不熟悉管理理論，就很難搭建數(shù)據(jù)分析的框架，后續(xù)的數(shù)據(jù)分析也很難進(jìn)行。另一方面的作用是針對(duì)數(shù)據(jù)分析結(jié)論提出有指導(dǎo)意義的分析建議。
懂分析
指掌握數(shù)據(jù)分析基本原理與一些有效的數(shù)據(jù)分析方法，并能靈活運(yùn)用到實(shí)踐工作中，以便有效的開展數(shù)據(jù)分析。基本的分析方法有：對(duì)比分析法、分組分析法、交叉分析法、結(jié)構(gòu)分析法、漏斗圖分析法、綜合評(píng)價(jià)分析法、因素分析法、矩陣關(guān)聯(lián)分析法等。高級(jí)的分析方法有：相關(guān)分析法、回歸分析法、聚類分析法、判別分析法、主成分分析法、因子分析法、對(duì)應(yīng)分析法、時(shí)間序列等。
懂工具
指掌握數(shù)據(jù)分析相關(guān)的常用工具。數(shù)據(jù)分析方法是理論，而數(shù)據(jù)分析工具就是實(shí)現(xiàn)數(shù)據(jù)分析方法理論的工具，面對(duì)越來(lái)越龐大的數(shù)據(jù)，我們不能依靠計(jì)算器進(jìn)行分析，必須依靠強(qiáng)大的數(shù)據(jù)分析工具幫我們完成數(shù)據(jù)分析工作。
懂設(shè)計(jì)
懂設(shè)計(jì)是指運(yùn)用圖表有效表達(dá)數(shù)據(jù)分析師的分析觀點(diǎn)，使分析結(jié)果一目了然。圖表的設(shè)計(jì)是門大學(xué)問(wèn)，如圖形的選擇、版式的設(shè)計(jì)、顏色的搭配等等，都需要掌握一定的設(shè)計(jì)原則。
京公網(wǎng)安備 11010502049343號(hào)