一、概念/類 描述

概念/類描述就是通過對某類對象關聯數據的匯總，分析和比較，用匯總的簡潔的精確的方式對此類對象的內涵進行描述，并概括這類對象的有關特征。概念描述分為：特征性描述和區別性描述。

特征性描述：是指從與某類對象相關的一組數據中提取出關于這些對象的共同特征。生成一個類的特征性描述只涉及該類對象中所有對象的同性。。

區別性描述：描述兩個或者更多不同類對象之間的差異。生成區別性描述則涉及目標類和對比類中對象的共性。

數據特征的輸出可以用多種形式提供：包括 餅圖，條圖，曲線，多維數據方和包括交叉表在內的多維表。結果描述也可以用泛化關系或規則（稱作特征性規則）形式提供

例如：利用面向屬性的歸納方法（AOI），在一個商場數據庫（2000銷售）中進行屬性歸納操作，獲得了如下的歸納結果：

表2-1 AOI方法挖掘結果表格表示示意描述

區別性描述是將目標類對象的一般特性與一個或多個對比類對象的一般特性比較，這種比較必須是在具備可比性的兩個或多個類之間進行。

例如，對某校講師和副教授的特征進行比較，可能會得到這樣一條規則： “講師：（78%）（paper<3）and (teaching course<2)”，而 “副教授：（66%）（paper>=3）and (teaching course>=2)”； 該對比規則表示該校講師中約有四分至三的人發表論文少于三篇且主講課程不超過一門；而對比之下該校副教授中約有三分至二 的人發表論文不少于三篇且主講課程不少于一門。

二、關聯模式

關聯模式挖掘旨在從大量的數據當中發現特征之間或者數據之間的相互依賴關系。這種存在于給定數據集中的頻繁出現的關聯模式，又稱為關聯規則。關聯可以分為簡單關聯，時序關聯，因果關聯等。這些關聯并不總是事先知道，而是通過數據庫中數據的關聯分析獲得的，其對商業決策具有重要的價值，因而關聯分析廣泛用于市場營銷，事物分析等領域。

挖掘關聯知識的一個典型應用實例就是市場購物分析。根據被放到一個購物袋的（購物）內容記錄數據而發現的不同（被購買）商品之間所存在的關聯知識無疑將會幫助商家分析顧客的購買習慣。發現常在一起被購買的商品（關聯知識）將幫助商家指定有針對性的市場策略。

比如：顧客在購買牛奶時，是否也可能同時購買面包或會購買哪個牌子的面包，顯然能夠回答這些問題的有關信息肯定回有效地幫助商家進行有針對性的促銷，以及進行合適的貨架商品擺放。如可以將牛奶和面包放在相近的地方或許會促進這兩個商品的銷售。

根據關聯規則所涉及變量的多少，可以分為多維關聯規則和單維關聯規則， 通常，關聯規則具有：X=>Y的形式，即：A1^…^Am=>B1^…^Bn的規則，其中, Ai (i屬于{1,…,m}), Bj (j屬于{1,…,n})是屬性-值對。關聯規則X => Y解釋為“滿足X中條件的數據庫元組多半也滿足Y中條件”。

例如：一個數據挖掘系統可以從一個商場的銷售(交易事務處理)記錄數據中，挖掘出如下所示的關聯規則： age(X,”20-29”)∧income(X,”20K-30K”) Tbuys(X，”mp3”)[support=2%,confidence=60%]上述關聯規則表示：該商場有的顧客年齡在20歲到29歲且收入在2 萬到3萬之間，這群顧客中有60%的人購買了MP3，或者說這群顧客購買MP3的概率為六成。這一規則涉及到年齡、收入和購買三個變量(即三維)，可稱為多維關聯規則。

對于一個商場經理，或許更想知道哪些商品是常被一起購買，描述這種情況的一條關聯規則可能是：Contains(X,”computer”) =>contain(X,”software”) [support=1%,confidence=60%]上述關聯規則表示：該商場1%銷售交易事物記錄中包含“computer”和 “software”兩個商品；而對于一條包含（購買）“computer”商品的交易事物記錄有60%可能也包含（購買）”software”商品。這條記錄中由于只涉及到購買事物這一個變量，所以稱為單維關聯規則。

三、分類

分類是數據挖掘中一項非常重要的任務，利用分類可以從數據集中提取描述數據類的一個函數或模型（也常稱為分類器），并把數據集中的每個對象歸結到某個已知的對象類中。從機器學習的觀點，分類技術是一種有指導（我們通常稱之為有監督）的學習，即每個訓練樣本的數據對象已經有類的標識，通過學習可以形成表達數據對象與類標識間對應的知識。從這個意義上說，數據挖掘的目標就是根據樣本數據形成的類知識并對源數據進行分類，進而也可以預測未來數據的分類。（十一城注：這里的分類和日常生活中的分類含義有些不一樣，它是將數據映射到預先定好的群組或者類中。所以很明顯，它是有監督/指導的，即它預先定好了東西來引導別人分類。）

分類挖掘所獲的分類模型可以采用多種形式加以描述輸出，其中主要的表示方法有：分類規則（IF-THEN），決策樹（decision tree），數學公式（mathematical formulae）和神經網絡。

決策樹是一個類似于流程圖的結構，每個節點代表一個屬性上的值，每個分枝代表測試的一個輸出，樹葉代表類或者類分布。決策樹容易轉換成分類規則。

神經網絡用于分類的時候，是一組類似于神經元的處理單元，單元之間加權連接。

另外，最近有興起了一種新的方法—粗糙集（rough set）其知識表示是生產式規則。

分類通常用來預測對象的類標號。例如，銀行信貸部門可以根據一個顧客信用信息數據庫，將功課的信用等級記錄為一般或良好，然后根據挖掘得出信用良好的顧客信息特征，應用這些特征描述，可以有效發現優質客戶。這一分類過程主要含有兩個步驟：

（1）建立一個已知數據集類別或概念的模型。

　　（2）對學習所獲模型的準確率進行測試。如下圖所示

　　四、聚類分析

與分類技術不同，在機器學習中，聚類是一種無指導學習。也就是說，聚類分析是在預先不知道欲劃分類的情況下，根據信息相似度原則進行信息集聚的一種方法。聚類的目的是使得屬于同一類別的個體之間的差別盡可能的小，而不同類別上的個體見的差別盡可能的大。因此，聚類的意義就在于將觀察到的內容組織成類分層結構，把類似的事物組織在一起。通過聚類，人們能夠識別密集的和稀疏的區域，因而發現全局的分布模式，以及數據屬性之間的有趣的關系。（十一城注：聚類和分類的區別在于聚類是無監督學習，分類是有監督學習。聚類其實也可以理解為是一種分類，只是它這種分類）

數據聚類分析是一個正在蓬勃發展的領域。聚類技術主要是以統計方法、機器學習、神經網絡等方法為基礎。比較有代表性的聚類技術是基于幾何距離的聚類方法，如歐氏距離、曼哈坦（Manhattan）距離、明考斯基（Minkowski）距離等。

聚類分析廣泛應用于商業、生物、地理、網絡服務等多種領域。例如，聚類可以幫助市場分析人員從客戶基本庫中發現不同的客戶群，并能用不同的購買模式來刻畫不同的客戶群的特征，如圖2-6顯示了一個城市內顧客位置的二維圖，數據點的三個簇是顯而易見的。聚類還可以從地球觀測數據庫中幫助識別具有相似土地使用情況的區域；以及可以幫助分類識別互聯網上的文檔以便進行信息發現等等。

　　五、預測

預測型知識（Prediction）是指由歷史的和當前的數據產生的并能推測未來數據趨勢的知識。這類知識可以被認為是以時間為關鍵屬性的關聯知識，因此上面介紹的關聯知識挖掘方法可以應用到以時間為關鍵屬性的源數據挖掘中。

前面介紹分類知識挖掘時曾經提到過：分類通常用來預測對象的類標號。然而，在某些應用中，人們可能希望預測某些遺漏的或不知道的數據值，而不是類標號。當被預測的值是數值數據時，通常稱之為預測。

也就是說，預測用于預測數據對象的連續取值，如：可以構造一個分類模型來對銀行貸款進行風險評估（安全或危險）；也可建立一個預測模型以利用顧客收入與職業（參數）預測其可能用于購買計算機設備的支出大小

預測型知識的挖掘可以利用統計學中的回歸方法，通過歷史數據直接產生連續的對未來數據的預測值；可以借助于經典的統計方法、神經網絡和機器學習等技術。無論如何，經典的統計學方法是挖掘預測知識的基礎。

六、時間序列

具有一個或多個時間屬性的預測應用稱為時間序列問題。時間序列是數據存在的特殊形式，序列的過去值會影響到將來值，這種影響的大小以及影響的方式可由時間序列中的趨勢周期及非平穩等行為來刻畫。

例如：系統調用日志記錄了操作系統及其系統進程調用的時間序列，通過對正常調用序列的學習可以預測隨后發生的系統調用序列、發現異常的調用。表2-4給出了一個系統調用數據表。 這樣的數據源可以通過適當的數據整理使之成為調用序列，如表2-5，再通相應的挖掘算法達到跟蹤和分析操作系統審計數據的目的。

　　七、偏差檢測

偏差檢測（deviation detection）就是對數據集中的偏差數據進行檢測與分析。

在要處理的大量數據中，常常存在一些異常數據，它們與其它的數據的一般行為或模型不一致。這里數據記錄就是偏差（deviation），也就是孤立點。

偏差包括很多潛在的知識，如不滿足常規類的異常例子、分類中出現的反常實例、在不同時刻發生了顯著變化的某個對象或集合、觀察值與模型推測出的期望值之間有顯著差異的事例等。

偏差的產生可能是某種數據錯誤造成的，也可能是數據變異所固有的結果。從數據集中檢測出這些偏差很有意義，例如在欺詐探測中，偏差可能預示著欺詐行為。