互聯網的迅猛發展，催生了數據的爆炸式增長。面對海量的數據，如何挖掘數據的價值，成為一個越來越重要的問題。本文首先介紹數據挖掘的基本內容，然后按照數據挖掘基本的處理流程，以性別預測實例來講解一個具體的數據挖掘任務是如何實現的。
數據挖掘的基本內容
首先，對于數據挖掘的概念，目前比較廣泛認可的一種解釋如下：
Data mining is the use of efficient techniques for the analysis of very large collections of data and the extraction of useful and possibly unexpected patterns in data.
數據挖掘是一種通過分析海量數據，從數據中提取潛在的但是非常有用的模式的技術。
主要的數據挖掘任務
數據挖掘任務可以分為預測性任務和描述性任務。預測性任務主要是預測可能出現的情況;描述性任務則是發現一些人類可以解釋的模式或規律。數據挖掘中比較常見的任務包括分類、聚類、關聯規則挖掘、時間序列挖掘、回歸等，其中分類、回歸屬于預測性任務，聚類、關聯規則挖掘、時間序列分析等則都是解釋性任務。
按照數據挖掘的基本流程，來談談分類問題
在簡單介紹了數據挖掘的基本內容后，我們來切入主題。以數據挖掘的流程為主線，穿插性別預測的實例，來講解分類問題。根據經典教科書和實際工作經驗來看，數據挖掘的基本流程主要包括五部分，首先是明確問題，第二是對數據進行預處理，第三是對數據進行特征工程，轉化為問題所需要的特征，第四是根據問題的評價標準選擇最優的模型和算法，最后將訓練的模型用于實際生產，產出所需結果(如圖1所示)。
圖1 數據挖掘的基本流程
下面我們分別介紹各環節涉及的主要內容：
1.明確問題和了解數據
這一環節最重要的是需求和數據的匹配。首先需要明確需求，有著怎樣的需求?是需要做分類、聚類、推薦還是其他?實際數據是否支持該需求?比如，分類問題需要有或者可以構造出training set，如果沒有training set，就沒有辦法按照分類問題來解決。此外，數據的規模、重要feature的覆蓋度等，也是需要特別考慮的問題。
2.數據預處理
1)數據集成，數據冗余，數值沖突
數據挖掘中準備數據的時候，需要盡可能地將相關數據集成在一起。如果集成的數據中，有兩列或多列值一樣，則不可避免地會產生數值沖突或數據冗余，可能需要根據數據的質量來決定保留沖突中的哪一列。
2)數據采樣
一般來說，有效的采樣方式如下：如果樣本是有代表性的，則使用樣本數據和使用整個數據集的效果幾乎是一樣的。抽樣方法有很多，需要考慮是有放回的采樣，還是無放回的采樣，以及具體選擇哪種采樣方式。
3)數據清洗、缺失值處理與噪聲數據
現實世界中的數據，是真實的數據，不可避免地會存在各種各樣的異常情況。比如某列的值缺失，或者某列的值是異常的，所以，我們需要在數據預處理階段進行數據清洗，來減少噪音數據對模型訓練和預測結果的影響。
3.特征工程
數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。下面的觀點說明了特征工程的特點和重要性。
Feature engineering is another topic which doesn’t seem to merit any review papers or books, or even chapters in books, but it is absolutely vital to ML success. […] Much of the success of machine learning is actually success in engineering features that a learner can understand.
— Scott Locklin, in “Neglected machine learning ideas”
1)特征：對所需解決問題有用的屬性
特征是對你所需解決問題有用或者有意義的屬性。比如，在計算機視覺領域，圖片作為研究對象，可能圖片中的一個線條就是一個特征;在自然語言處理領域中，研究對象是文檔，文檔中的一個詞語的出現次數就是一個特征;在語音識別領域中，研究對象是一段話，phoneme(音位)可能就是一個特征。
2)特征的提取、選擇和構造
既然特征是對我們所解決的問題最有用的屬性。首先我們需要處理的是根據原始數據抽取出所需要的特征。亟需注意的是，并不是所有的特征對所解決的問題產生的影響一樣大，有些特征可能對問題產生特別大的影響，但有些則可能影響甚微，和所解決的問題不相關的特征需要被剔除掉。因此，我們需要針對所解決的問題選擇最有用的特征集合，一般可以通過相關系數等方式來計算特征的重要性。當然，有些模型本身會輸出feature重要性，如Random Forest等算法。而對于圖片、音頻等原始數據形態特別大的對象，則可能需要采用像PCA這樣的自動降維技術。另外，還可能需要本人對數據和所需解決的問題有深入的理解，能夠通過特征組合等方法構造出新的特征，這也正是特征工程被稱之為是一門藝術的原因之一。
實例講解(一)
接下來，我們通過一個性別預測的實例來說明數據挖掘處理流程中的“明確問題”、“數據預處理”和“特征工程”三個部分。
假設我們有如下兩種數據，想根據數據訓練一個預測用戶性別的模型。
數據1： 用戶使用App的行為數據;
數據2： 用戶瀏覽網頁的行為數據;
第一步：明確問題
首先明確該問題屬于數據挖掘常見問題中的哪一類， 是分類、聚類，推薦還是其他?假設本實例數據有部分數據帶有男女性別，則該問題為分類問題;
數據集是否夠大?我們需要足夠大的數據來訓練模型，如果數據集不夠大，那么所訓練的模型和真實情況偏差會比較大;
數據是否滿足所解決問題的假設?統計發現男人和女人使用的App不太一致，瀏覽網頁的內容也不太一致，則說明我們通過數據可以提取出對預測性別有用的特征，來幫助解決問題。如果根據數據提取不出有用的特征，那么針對當前數據，問題是沒法處理的。
第二步：數據預處理
實際工作中，在數據預處理之前需要確定整個項目的編程語言(如Python、Java、 Scala)和開發工具(如Pig、Hive、Spark)。通常而言，編程語言和開發工具的選擇都依賴于所處的數據平臺環境;
選取多少數據做模型訓練?這是常說的數據采樣問題。一般認為采樣數據量越大，對所解決的任務幫助越大，但是數據量越大，計算代價也越大，因此，需要在解決問題的效果和計算代價之間折中一下;
把所有相關的數據聚合在一起，如果有相同字段則存在數據冗余的問題，需要根據數據的質量剔除掉冗余的數據;數據中可能存在異常值，則需要過濾掉;數據中可能有的值有缺失，則需要填充默認值。
數據預處理后可能的結果(如表1、表2所示)：
表1 數據1預處理后結果
表2 數據2預處理后結果
第三步：特征工程
由于數據1和數據2的類型不太一樣，所以進行特征工程時，所采用的方法也不太一樣，下面分別介紹一下：
數據1的特征工程
數據1的單個特征的分析主要包括以下內容：
數值型特征的處理，比如App的啟動次數是個連續值，可以按照低、中、高三個檔次將啟動次數分段成離散值;
類別型特征的處理，比如用戶使用的設備是三星或者聯想，這是一個類別特征，可以采用0-1編碼來處理;
需要考慮特征是否需要歸一化。
數據1的多個特征的分析主要包括以下內容：
使用的設備類型是否決定了性別?需要做相關性分析，通常計算相關系數;
App的啟動次數和停留時長是否完全正相關，結果表明特別相關，則說明App的停留時長是無用特征，將App的停留時長這個特征過濾掉;
如果特征太多，可能需要做降維處理。
2.數據2的特征工程
數據2是典型的文本數據，文本數據常用的處理步驟包含以下幾個部分：
網頁 → 分詞 → 去停用詞 → 向量化
分詞。可以采用Jieba分詞(Python庫)或張華平老師的ICTCLAS;
去除停用詞。停用詞表除了加入常規的停用詞外，還可以將DF(Document Frequency)比較高的詞加入停用詞表，作為領域停用詞;
向量化。一般是將文本轉化為TF或TF-IDF向量。
特征工程后數據1的結果(如表3所示，A1低表示啟動App1的次數比較低，以此類推，is_hx表示設備是否是華為，Label為1表示Male)。
表3 數據1特征工程后結果
特征工程后數據2的結果(如表4所示，term1=5表示user1瀏覽的網頁中出現詞1的頻率，以此類推)。
表4 數據2特征工程后結果
第四步：算法和模型
做完特征工程后，下一步就是選擇合適的模型和算法。算法和模型的選擇主要考慮一下幾個方面：
訓練集的大小;
特征的維度大小;
所解決問題是否是線性可分的;
所有的特征是獨立的嗎?
需要不需要考慮過擬合的問題;
對性能有哪些要求?
上面中提到的很多問題沒法直接回答，可能我們還是不知道該選擇哪種模型和算法，但是奧卡姆剃刀原理給出了模型和算法的選擇方法：
Occam’s Razor principle: use the least complicated algorithm that can address your needs and only go for something more complicated if strictly necessary.
業界比較通用的算法選擇一般是這樣的規律：如果LR可以，則使用LR;如果LR不適合，則選擇Ensemble的方式;如果Ensemble方式不適合，則考慮是否嘗試Deep Learning。下面主要介紹一下LR算法和Ensemble方法的相關內容。
LR算法(Logistic Regression，邏輯回歸算法)
只要認為問題是線性可分的，就可采用LR，通過特征工程將一些非線性特征轉化為線性特征。 模型比較抗噪，而且可以通過L1、L2范數來做參數選擇。LR可以應用于數據特別大的場景，因為它的算法效率特別高，且很容易分布式實現。
區別于其他大多數模型，LR比較特別的一點是結果可以解釋為概率，能將問題轉為排序問題而不是分類問題。
Ensemble方法(組合方法)
組合方法的原理主要是根據training set訓練多個分類器，然后綜合多個分類器的結果，做出預測(如圖2所示)。
圖2 組合方法的基本流程
組合方式主要分為Bagging和Boosting。Bagging是Bootstrap Aggregating的縮寫，基本原理是讓學習算法訓練多輪，每輪的訓練集由從初始的訓練集中隨機取出的n個訓練樣本組成(有放回的隨機抽樣)，訓練之后可得到一個預測函數集合，通過投票方式決定預測結果。
而Boosting中主要的是AdaBoost(Adaptive Boosting)。基本原理是初始化時對每一個訓練樣本賦相等的權重1/n，然后用學習算法對訓練集訓練多輪，每輪結束后，對訓練失敗的訓練樣本賦以較大的權重。也就是讓學習算法在后續的學習中集中對比較難的訓練樣本進行學習，從而得到一個預測函數集合。每個預測函數都有一定的權重，預測效果好的預測函數權重較大，反之較小，最終通過有權重的投票方式來決定預測結果。
Bagging和Boosting的主要區別如下：
取樣方式不同。Bagging采用均勻取樣，而Boosting根據錯誤率來取樣，因此理論上來講Boosting的分類精度要優于Bagging;
訓練集的選擇方式不同。Bagging的訓練集的選擇是隨機的，各輪訓練集之間相互獨立，而Boostng的各輪訓練集的選擇與前面的學習結果有關;
預測函數不同。Bagging的各預測函數沒有權重，而Boosting是有權重的。Bagging的各個預測函數可以并行生成，而Boosting的各個預測函數只能順序生成。
對于像神經網絡這樣極其耗時的學習方法，Bagging可通過并行訓練節省大量時間開銷。Bagging和Boosting都可以有效地提高分類的準確性。在大多數數據集中，Boosting的準確性比Bagging要高。
分類算法的評價
上一部分介紹了常用的模型和算法，不同的算法在不同的數據集上會產生不同的效果，我們需要量化算法的好壞，這就是分類算法的評價。在本文中，筆者將主要介紹一下混淆矩陣和主要的評價指標。
1.混淆矩陣(如圖3所示)
圖3 混淆矩陣
1)True positives(TP)：即實際為正例且被分類器劃分為正例的樣本數;
2)False positives(FP)：即實際為負例但被分類器劃分為正例的樣本數;
3)False negatives(FN)：即實際為正例但被分類器劃分為負例的樣本數;
4)True negatives(TN)：即實際為負例且被分類器劃分為負例的樣本數。
2.主要的評價指標
1)準確率accuracy=(TP+TN)/(P+N)。這個很容易理解，就是被分對的樣本數除以所有的樣本數。通常來說，準確率越高，分類器越好;
2)召回率recall=TP/(TP+FN)。召回率是覆蓋面的度量，度量有多少個正例被分為正例。
3)ROC和AUC。
實例講解(二)
實例(一)產出的特征數據，經過“模型和算法”以及“算法的評價”兩部分所涉及的代碼實例如圖4所示。
圖4 模型訓練示例代碼
總結
本文以數據挖掘的基本處理流程為主線，以性別預測為具體實例，介紹了處理一個數據挖掘的分類問題所涉及的方方面面。對于一個數據挖掘問題，首先要明確問題，確定已有的數據是否能夠解決所需要解決的問題，然后就是數據預處理和特征工程階段，這往往是在實際工程中最耗時、最麻煩的階段。經過特征工程后，需要選擇合適的模型進行訓練，并且根據評價標準選擇最優模型和最優參數， 最后根據最優模型對未知數據進行預測，產出結果。希望本文的內容對大家有所幫助。
作者簡介：王琪，友盟高級數據挖掘工程師，武漢大學碩士，工作涉及友盟的各類數據挖掘和分析任務。對數據挖掘和分析、自然語言處理和文本檢索有多年的理論和實踐經驗。
本文為《程序員》雜志2月版特約文章，訂閱詳情可點擊：http://dingyue.programmer.com.cn/。
京公網安備 11010502049343號