自大數據進入了人們的視線之后，它便逐漸成為人們普遍關注的焦點。大數據講的是PB時代的科學，本質上大數據的挑戰是PB時代的對科學的挑戰，更是對包括數據挖掘在內的認知科學的挑戰。那么，大數據時代怎么做數據挖掘呢?
在現今時代人們通常所說的大數據主要包括三個來源：第一是自然界大數據，也就是地球上的自然環境，很大很大。第二是生命大數據。第三也是最重要的，則是人們關心的社交大數據。這些數據普遍存在于人們的手機、電腦等設備中。今天一個報告在3分鐘之內就可能被全世界的人們所知道。
奧巴馬就職的社交場所，這么多面孔，每一個面孔下都有一個故事，每一個人后面都有大數據的支撐。人臉是數據安全的很重要的識別器，怎么把人臉識別清楚呢?人們想了很多辦法。現在北京市有80萬個攝像頭，我們每天都在攝像頭的監督下開車、購物。我們可以利用攝像頭做身份認證、年齡識別、情感計算、親緣發現、心理識別、地區識別、民族識別。這種流媒體主要的形態是非結構化的，特征之間的關聯關系、設備算法的準確率等等，都嚴重地制約著大數據人臉挖掘的進度。如何能從這些海量數據中利用識別算法提取出所需要的特征屬性，并理清特征之間的關系都是現在所面臨的問題。
技術推動計算機發展
1936年天才數學家圖靈提出圖靈模型，后來有計算機把圖靈模型轉化為物理計算機，這其中有三大塊：CPU、操作系統、內存和外存，還有輸入和輸出。在計算機發展的頭30年里，我們投入最多的是CPU、操作系統、軟件、中間件以及應用軟件。當時人們側重于計算性能的提高，我們把這個時代叫做計算時代。
計算對軟件付出了很大的努力，尤其是高性能計算機。我們認為計算在前20年中起到了主導作用，它的標志速度就是摩爾速度。在這樣一個計算領先的時代當中，我們主要做的是結構化數據的挖掘。關系數據庫之父埃德加在1970年提出一個關系模型，以關系代數為核心運算，用二維表形式表示實體和實體間的聯系。三四十年來，各行各業的數據庫和數據倉庫技術，以及從數據庫發現知識的數據挖掘成為巨大的信息產業。
關系代數是關系數據庫的形式化理論和約束，先有頂層設計和數據結構，后填入清洗后的數據。數據圍繞結構轉，數據圍繞程序轉。用戶無需關心數據的獲取、存儲、分析以及提取過程。通過數據挖掘，可以從數據庫中發現分類知識、關聯知識、時序知識、異常知識等等。
隨著數據庫產業的膨大，人們對數據庫已經不太滿足了，于是把Databases說成大數據，這便遇到了兩個不可回避的挑戰，第一個挑戰是由于關系代數的形式化約束過于苛刻，無法表示現實數據;第二個挑戰是隨著數據量的增大，關系代數運算性能急劇下降。在這個時候，我們的存儲技術得到了迅猛發展，人類進入了搜索時代。搜索因為存儲便宜了，存儲的速度大概每9個月翻一番，所以存儲帶動了技術的腳步，這種搜索時代經過了20多年的發展，帶領我們進入了一個半結構化數據挖掘時代。這個時代的代表人物就是萬維網之父家蒂姆·伯納斯—李，他提出了超文本思想，開發了世界上第一個Web服務器，于是我們可以從一臺服務器上檢索另一臺服務器的內容，服務器在軟件的支持下可發布包括文本、表格、圖片、音視頻的碎片化超媒體信息。
因此，客戶端服務器結構和云計算結構蓬勃產生，這時已經沒有了關于代數那樣嚴格的形式化約束，依靠的主要是規范、標準，所有媒體均以實體形式存在，甚至是軟件，實體通過超鏈接產生聯系。
形式化理論比關系代數寬松了許多，創建了靈活多樣的實體，這時候數據開始圍繞實體轉，實體圍繞鏈接轉。在云計算背景下，數據挖掘也可以看作是云計算環境下的搜索與個性化服務，不存在固定的查詢方式，也不會出現唯一、100%準確的查詢結果。
網絡化的大數據挖掘
隨著互聯網帶寬6個月翻一番的速度，人類進入了交互時代，交互帶動著計算和存儲的發展。
移動互聯網時代的大數據挖掘主要是網絡化環境下的非結構化數據挖掘，這些數據形態反映的是鮮活的、碎片化的、異構的、有情感的原生態數據。
非結構化數據的特點是，它常常是低價值、強噪聲、異構、冗余冰冷的數據，有很多數據放在存儲器里就沒再用過。數據的形式化約束越來越寬松，越來越接近互聯網文化、窗口文化和社區文化。
關注的對象也發生很大改變，挖掘關注的首先是小眾，只有滿足小眾挖掘需求，才談得上滿足更多小眾組成的大眾的需求，因此一個重要思想就是由下而上勝過由上而下的頂層設計，強調挖掘數據的真實性、及時性，要發現關聯、發現異常、發現趨勢，總之要發現價值。
當前，深度學習也是一種數據自適應簡約。如果我們在百度上用深度學習搜索一個人臉象素搜索，這么多人臉誰是誰?數據量急劇增加，各種媒體形態可隨意碎片化，組織結構和挖掘程序要圍著數據轉，程序要碎片化，并可以隨時虛擬重組，挖掘常常是人機交互環境下不同社區的發現以及社區中形成的群體智能，在非結構化數據挖掘中，會自然進行數據清洗，自然形成半結構化數據和結構化數據，以提高數據使用效率。
群體智能是一個最近說得很多的詞，我們曾經在計算機上做一個圖靈測試，讓計算機區分哪些碼是人產生的，哪些是機器產生的，這是卡內基美隆大學提出來的，在網絡購物、登錄網站、申請網站時都會碰到適配碼被使用。在此要提到第三個代表人物——路易斯，他提出用這個適配碼應用方式。
如果云計算支撐大數據挖掘要發現價值，那么我們認為云計算本來就是基于互聯網的大眾參與計算模式，其計算資源是動態的，可收縮的，被虛擬化的，而且以服務的方式提供。 產生擺脫了傳統的配置帶來的系統升級，更加簡潔、靈活多樣、個性化，手機、游戲機、數碼相機、電視機差別細微，出現了更多iCloud產品，界面人性化、個性化，都可成為大數據挖掘的終端。
挖掘員支撐各種各樣的大數據應用，如果我們有數據收集中心、存儲中心、計算中心、服務中心，一定要有數據挖掘中心，這樣一來，就可以實現支撐大數據的及時應用和價值的及時發現。
大數據標志一個新時代的到來，這個時代的特征不只是追求豐富的物質資源，也不只是無所不在的互聯網帶來方便的多樣化的信息服務，同時還包含區別于物質的數據資源的價值挖掘和價值轉換，虛擬世界的信息價值挖掘導致更加精確的控制物理世界的物質和能量，以及由大數據挖掘帶來的精神和文化方面的嶄新現象。
京公網安備 11010502049343號