從這次開始，咱們腳踏實地，具體說一說如何一步步進行數據挖掘工作，這次我們的主題是“數據理解與預處理”。
小編遇到過很多人(咳咳，請不要對號入座)，拿到數據后不管三七二十一，先丟到模型中去跑，管它具體什么樣呢，反正“大數據”嘛，總能整出點東西來。但就像上次說過的，“大數據”很有可能帶來“大錯誤”!所以在數據挖掘工作開始前，認真的理解數據、檢查數據，對數據進行預處理是至關重要的。
很多人說，數據準備工作真是個“體力活”，耗時耗力不說，還異常的枯燥無味。這點小編承認，建模之前的數據處理確實是平淡的，它往往不需要多高的智商，多牛的編程技巧，多么高大上的統計模型。但是，它卻能時時觸發你的興奮點，因為它需要足夠的耐心和細心，稍不留神就前功盡棄。
在這次的內容里，小編首先會從“數據理解”、“變量類型”和“質量檢查”三個方面進行闡述，然后會以一個自己做過的實際數據為例進行展示。
一、數據理解
拿到數據后要做的第一步就是理解數據。什么是理解數據呢?不是簡單看下有多少Excel表，有多少行，多少列，而是要結合自己的分析目標，帶著具體的業務需求去看。
首先，我們需要明確數據記錄的詳細程度，比方說某個網站的訪問量數據是以每小時為單位還是每天為單位;一份銷售數據記錄的是每家門店的銷售額還是每個地區的總銷售額。
其次，我們需要確定研究群體。研究群體的確定一定和業務目標是密切相關的。比方說，如果我們想研究用戶對產品的滿意度與哪些因素有關，就應該把購買該產品的所有客戶作為研究群體;如果我們想研究用戶的購買行為受哪些因素影響，就應該同時考察購買人群和非購買人群，在兩類人群的對比中尋找關鍵因素。
研究群體的確定有時也和數據的詳細程度有關。比如我們想研究“觀眾影評”對“電影票房”的影響，我們既可以把“每部電影”看成一個個體，研究“影評總數”對“電影總票房”的影響，也可以把“每部電影每天的票房”看成一個個體，研究“每天的影評數”對“每天的電影票房”的影響。具體選擇哪一種取決于我們手上有什么樣的數據，如果只有總票房和總影評數的數據，那我們只能選擇第一種;如果有更詳細的數據，那就可以考慮第二種方案。
需要注意的是，這兩種方案還會影響我們對于模型的選擇。例如，如果研究“每天的影評數”對“每天電影票房”的影響，那每部電影又被細分為很多天，同一部電影不同時間的票房會有較高的相似性，這就形成了一種層次結構，可以考慮使用層次模型(hierarchical model)進行分析。
最后，當我們確定了研究目標和研究群體后，我們需要逐一理解每個變量的含義。有些變量和業務目標明顯無關，可以直接從研究中剔除。有些變量雖然有意義，但是在全部樣本上取值都一樣，這樣的變量就是冗余變量，也需要從研究中剔除。還有一些變量具有重復的含義，如“省份名稱”和“省份簡稱”，這時只需要保留一個就可以了。
二、變量類型
所有變量按其測量尺度可以分成兩大類，一類是“分類變量”，一類是“數值變量”。不同類型的變量在處理方法和后期的模型選擇上會有顯著差別。
【分類變量】
分類變量又稱屬性變量或離散變量，它的取值往往用有限的幾個類別名稱就可以表示了，例如“性別”，“教育程度”，“收入水平”，“星期幾”等。細分的話，分類變量又可分為兩類，一類是“名義變量”，即各個類別間沒有順序和程度的差別，就像“手機系統”中ios和安卓并沒有明顯的好壞差別，“電影類型”中“動作片”和“科幻片”也都是一樣的，說不上哪個更好或更差。另外一類是定序變量，即不同類別之間存在有意義的排序，如“空氣污染程度”可以用“差、良、優”來表示、“教育程度”可以用“小學、初中、高中、大學”來表示。
當研究的因變量是分類變量時，往往對應特定的分析方法，我們在后面的章節會陸續講到，這里暫且不談。當研究中的自變量是分類變量時，也會限制模型選擇的范圍。有些數據挖掘模型可以直接處理分類自變量，如決策樹模型;但很多數據挖掘模型不能直接處理分類自變量，如線性回歸、神經網絡等，因此需要將分類變量轉換成數值變量。
對于定序自變量，最常用的轉換方法就是按照類別程度將其直接轉換成數值自變量，例如將空氣污染程度 “差、良、優”轉換為“1,2,3”。
對于名義自變量，最常用的轉換方法就是構造0-1型啞變量。例如，對于“性別”，可以定義“1=男，0=女”。當某個名義變量有K個類別取值時，則需要構造K-1個啞變量。例如教育程度“小學，初中，高中，大學及以上”，可以構造三個啞變量分別為：x1：1=小學，0=其它;x2：1=初中，0=其它;x3：1=高中，0=其它。當x1，x2，x3三個啞變量取值都為0時，則對應著“大學及以上”。
需要注意的是，有時候名義變量的取值太多，會生成太多的啞變量，這很容易造成模型的過度擬合。這時可以考慮只把觀測比較多的幾個類別單獨拿出來，而把剩下所有的類別都歸為“其它”。例如，中國一共包含56個民族，如果每個民族都生成一個啞變量就會有55個，這時我們可以只考慮設置“是否為漢族”這一個0-1啞變量。
【數值變量】
我們再來看看數值變量。數值變量就是用數值描述，并且可以直接進行代數運算的變量，如“銷售收入”、“固定資本”、“評論總數”、“訪問量”、“學生成績”等等都是數值變量。
需要注意的是，用數值表示的變量不一定就是數值型變量，只有在代數運算下有意義的變量才是數值型變量。例如財務報表的年份，上市時間等，雖然也是用數值表示的，但我們通常不將它們按照數值型變量來處理。
上面我們講到，分類變量通常要轉換成數值型變量，其實有些時候，數值型變量也需要轉換成分類變量，這就用到了“數據分箱”的方法。為什么要進行數據分箱呢?通常有以下幾個原因：
1. 數據的測量可能存在一定誤差，沒有那么準確，因此按照取值范圍轉換成不同類別是一個有效的平滑方法;
2.有些算法，如決策樹模型，雖然可以處理數值型變量，但是當該變量有大量不重復的取值時，使用大于、小于、等于這些運算符時會考慮很多的情況，因此效率會很低，數據分箱的方法能很好的提高算法效率;
3.有些模型算法只能處理分類型自變量(如關聯規則)，因此也需要將數值變量進行分箱處理。
數據分箱后，可以使用每個分箱內的均值、中位數、臨界值等作為這個類別的代表值，也可以直接將不同取值范圍定義成不同的類別，如：將污染程度劃分后定義為“低、中、高”等。
那如何進行數據分箱呢?常用的數據分箱的方法有：等寬分箱(將變量的取值范圍劃分成等寬的幾個區間)、等頻分箱(按照變量取值的分位數進行劃分)、基于k均值聚類的分箱(將所有數據進行k均值聚類，所得的不同類別即為不同的分箱)，還有一些有監督分箱方法，如：使分箱后的結果達到最小熵或最小描述長度等。這里不詳細介紹了，有興趣的童鞋可以自行百度。
三、質量檢查
對數據中的各個變量有了初步了解后，我們還需要對數據進行嚴格的質量檢查，如果數據質量不過關，還需要進行數據的清洗或修補工作。一般來說，質量檢查包括檢查每個變量的缺失程度以及取值范圍的合理性。
【缺失檢查】
原始數據中經常會存在各種各樣的缺失現象。有些指標的缺失是合理的，例如顧客只有使用過某個產品才能對這個產品的滿意度進行評價，一筆貸款的抵押物中只有存在房地產，才會記錄相應的房地產的價值情況等。像這種允許缺失的變量是最難搞的，因為我們很難判斷它的缺失是合理的，還是由于漏報造成的。
但無論哪種情況，如果變量的缺失率過高，都會影響數據的整體質量，因為數據所反映的信息實在太少，很難從中挖掘到有用的東西。
對于不允許缺失的變量來說，如果存在缺失情況，就必須進行相應的處理。如果一個變量的缺失程度非常大，比方說達到了70%，那就考慮直接踢掉吧，估計沒救了。如果缺失比例還可以接受的話，可以嘗試用缺失值插補的方法進行補救。
插補的目的是使插補值能最大可能的接近其真實的取值，所以如果可以從其他途徑得到變量的真實值，那一定優先選擇這種方法。比如某個公司的財務信息中缺失了“最終控制人類型”和“是否國家控股”這兩個取值，這些可以通過網上的公開信息得到真實值;再比如缺失了“凈利潤率”這個指標的取值，但是卻有“凈利潤”和“總收入”的取值，那就可以通過變量間的關系得到相應的缺失值，即凈利潤率=凈利潤/總收入。
當然，更多的時候，我們無法得到缺失值的真實信息，這時就只能借用已有的數據來進行插補了。對數值變量來說，可以用已觀測值的均值、中位數來插補缺失值;對分類型變量來說，可以用已觀測數據中出現比例最高的類別取值來進行插補。這些方法操作起來非常簡單，但它們都是對所有缺失值賦予了相同的取值，所以當缺失比例較大時，可能會扭曲被插補變量與其余變量的關系。
更復雜一點的，我們可以選擇模型插補方法，即針對被插補變量和其它自變量之間的關系建立統計模型(如回歸、決策樹等)，將模型預測值作為插補值。
如何處理缺失值是一個很大的研究課題，我們這里只是介紹了最簡單可行的方法，有興趣的讀者可以參閱Little和Rubin 2002年的專著“Statistical Analysis with Missing Data”。
【變量取值合理性檢查】
除了缺失外，我們還要考察每個變量的取值合理性。每個變量都會有自己的取值范圍，比如“用戶訪問量”、“下載次數”一定是非負的，“投資收益率”一定在0~1之間。通過判斷變量的取值是否超出它應有的取值范圍，可以簡單的對異常值進行甄別。
除了根據變量的取值范圍來檢查變量質量外，還可以根據變量之間的相互關系進行判斷。例如一家公司的“凈利潤率”不應該大于“總利潤率”等。
只有通過了各個方面檢測的數據才是一份高質量的數據，才有可能帶來有價值的模型結果。
四、實例分析——電影票房分析
最后，我們給出一個實例分析。在這個例子中，我們的目標是研究電影哪些方面的特征對電影票房有影響。
我們有兩方面的數據，一是描述電影特征的數據，二是描述電影票房的數據。由于我們關注的是北美的票房市場，所以描述電影特征的數據可以從IMDB網站得到，它是一個關于演員、電影、電視節目、電視明星和電影制作的在線數據庫，里面可以找到每部上映電影的眾多信息;電影每天的票房數據可以從美國權威的票房網站Box Office Mojo得到，上面記錄了每部電影上映期間內每天的票房數據。
我們將從IMDB得到的數據放到“movieinfor.csv”文件中，將從Box Office Mojo中得到的數據放到“boxoffice.csv”文件中。
這里，我們以2012年北美票房市場最高的前100部電影為例進行講解。下表給出了這兩個數據集中包含的所有變量以及相應的解釋。
在這兩個數據中，movieinfor.csv數據的記錄是精確到每部電影的，而boxoffice.csv數據精確到了每部電影中每天的票房數據，是精確到天的。上表中給出的變量中，除了電影名稱和ID外，“電影類型”“MPAA評級”(美國電影協會對電影的評級)和“星期幾”是分類型變量;“放映時長”、“制作預算”、“電影每天的票房”和“每天放映的影院數”是數值型變量。兩份數據都不存在缺失值。
我們首先對兩個數據集分別進行變量預處理，然后再根據電影ID將兩個數據整合到一起。下面給出了每個變量的處理方法：
【電影類型】
電影類型是一個分類變量。在這個變量中我們發現每部電影都不止一個類型，例如“The Dark Knight Rises”這部電影就有“Action”、“Crime”和“Thriller”三個類型，并且它們以“|”為分隔符寫在了一起。同時，不同電影之間可能有相同的類型，也可能有不同的類型，例如票房排名第二的電影“Skyfall”，它的類型是“Action |Adventure |Thriller”。因此，我們首先需要做的是把每部電影所屬的類型逐一取出來，然后將所有出現過的類型分別形成一個0-1啞變量，如果這部電影在某個類型上出現了，則相應變量的取值就是1，否則是0.
通過上面一步，我們知道這個數據集中出現過的所有電影類型一共有11個。那是不是按照之前所講的，應該把它轉換為10個啞變量呢?這里需要注意的是，所有的電影類型之間并不是互斥的(即有了action，就不能有其他的類型)，所以我們無需因為共線性的原因去掉其中一個。也就是說，如果把每一個電影類型單獨作為一個獨立的變量，可以衍生出11個新的0-1變量，這完全沒有問題。但11個變量未免有點過多，所以我們根據不同電影類型的頻數分布情況，只把出現次數明顯較多的類型單獨拿出來，最終生成了6個0-1型變量，分別為Adventure，Fantasy，Comedy，Action，Animation，Others。
【MPAA評級】
對于這個分類型變量，我們首先可以看一下數據中它所包含的全部取值，發現一共有“PG”，“PG-13”和“R”三個。和上面的電影類型(Genre)不同，對于一部電影而言，它只能有一個MPAA取值。因此，在MPAA變量中，我們需要選擇一個作為基準，將另外兩個構造成啞變量。例如，我們以“PG”為基準，構造的兩個啞變量分別為PG13和R，如果這兩個啞變量的取值同時為0，那就相當于電影的MPAA評級是PG。
【放映當天是星期幾】
這個變量同MPAA評級一樣，每部電影只能有一個取值。如果它在星期一到星期日上都有取值的話，我們可以衍生出6個0-1型啞變量。因為這里我們更關注周末和非周末對電影票房的影響，而并不關注具體是哪一天，所以我們將其進一步概括成一個變量，即“是否是周末”。
【放映時長和制作預算】
放映時長和制作預算這兩個變量都是取值大于0的數值型變量，我們可以分別檢查它們的取值是否在合理的范圍內，然后直接保留它們的數值信息。同時，對“制作預算”而言，假設我們這里關心的不是制作預算的具體數值，而是“小成本電影”和“大成本電影”的票房差異，那我們就可以將這個數值型變量進行分箱處理，轉換為一個0-1型的分類變量，即 “是否為小成本電影”。在決定按照什么標準來劃分是否為小成本電影時，我們根據之前文獻里的研究結果，將制作預算在100 million以下的電影看成是小成本電影。
上述所有變量的處理過程都可以使用R中最基本的語句(table，rep，which等)完成，由于篇幅限制，小編這里就不列出詳細的code了，大家感興趣的話，可以閱讀狗熊會的“R語千尋”系列(戳這里)，相信會在R語言的學習上受到更多啟發。最后，我們將所有新生成的變量按照電影ID整合到一起，就大功告成啦。
五、總結
最后總結一下，小編在這次內容中向大家介紹了拿到數據后的數據理解和預處理工作，內容雖然不難，但同樣需要我們認真對待。就好像生活一樣，只有踏踏實實走好前面的路，才有可能迎接后面的高潮迭起!
京公網安備 11010502049343號