利用互聯(lián)網(wǎng)購(gòu)物的營(yíng)銷數(shù)據(jù)來追蹤和勾畫消費(fèi)行為并以此為據(jù)促銷是大數(shù)據(jù)應(yīng)用的成功典型案例。有些人已此將大數(shù)據(jù)吹得神乎其神，好像它能成為萬能藥。其實(shí)，這只是大數(shù)據(jù)應(yīng)用中的很小一部分。作為智能決策的支持手段之一，大數(shù)據(jù)在企業(yè)、事業(yè)、政府、社會(huì)管理和發(fā)展上的應(yīng)用是更重要的挑戰(zhàn)。在這里，多源數(shù)據(jù)的融合就成為大數(shù)據(jù)分析中的瓶頸。
每個(gè)親身參加過大數(shù)據(jù)項(xiàng)目的數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師、數(shù)據(jù)庫(kù)管理員都會(huì)告訴你，項(xiàng)目的80%的時(shí)間和經(jīng)費(fèi)花在數(shù)據(jù)的準(zhǔn)備工作上。這其中多源數(shù)據(jù)的融合是最耗費(fèi)資源的任務(wù)之一。難怪最近紐約時(shí)報(bào)驚呼：“數(shù)據(jù)科學(xué)家把高達(dá) 80%的時(shí)間用于數(shù)據(jù)準(zhǔn)備而不是用來發(fā)現(xiàn)新的商業(yè)智能”。
傳統(tǒng)的統(tǒng)計(jì)分析經(jīng)常是對(duì)單一數(shù)據(jù)源(營(yíng)銷數(shù)據(jù)、行政報(bào)表、問卷調(diào)查、人口普查等)進(jìn)行深入的追蹤和分析。分析人員對(duì)數(shù)據(jù)的來源和結(jié)構(gòu)有一定的控制和深層的了解。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)源是多樣的、自然形成的、海量的數(shù)據(jù)常常是半結(jié)構(gòu)或無結(jié)構(gòu)的。這就要求數(shù)據(jù)科學(xué)家和分析師駕馭多樣、多源的數(shù)據(jù)，將它們梳理后進(jìn)行挖掘和分析。在這個(gè)過程中，數(shù)據(jù)融合(data blending)就成為不可或缺的一步。
數(shù)據(jù)融合與數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)、數(shù)據(jù)一體化(Data Integration)不同。它的目的不是將一個(gè)企業(yè)(Enterprise)或組織的所有數(shù)據(jù)集中在一起并標(biāo)準(zhǔn)化而產(chǎn)生唯一的真相(Single Truth)。它是以產(chǎn)生決策智能為目標(biāo)將多種數(shù)據(jù)源中的相關(guān)數(shù)據(jù)提取、融合、梳理整合成一個(gè)分析數(shù)據(jù)集(Analytic Dataset)。這個(gè)分析數(shù)據(jù)集是個(gè)獨(dú)立的和靈活的實(shí)體，可隨數(shù)據(jù)源的變化重組、調(diào)整和更新。數(shù)據(jù)融合勝于數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)一體化的另一點(diǎn)是它能包容多源數(shù)據(jù)。
數(shù)據(jù)融合有六個(gè)基本步驟：(1)連接所需多源數(shù)據(jù)庫(kù)并獲取相關(guān)數(shù)據(jù)，(2)研究和理解所獲得的數(shù)據(jù)，(3)梳理和清理數(shù)據(jù)，(4)數(shù)據(jù)轉(zhuǎn)換和建立結(jié)構(gòu)，(5)數(shù)據(jù)組合，(6)建立分析數(shù)據(jù)集。這個(gè)過程的每一步都需要數(shù)據(jù)工作者認(rèn)真細(xì)致的思考、辨認(rèn)、測(cè)試、清理、最后產(chǎn)生可信賴、有意義的分析數(shù)據(jù)庫(kù)。在過去，這個(gè)數(shù)據(jù)準(zhǔn)備過程很大程度上是通過手動(dòng)，十分費(fèi)時(shí)和艱辛。即使有數(shù)據(jù)處理的軟件(如Excel, SAS, SPSS等)，每個(gè)數(shù)據(jù)工作者也都是自己使用所熟悉的工具，形成個(gè)性化的，充其量是半自動(dòng)的數(shù)據(jù)準(zhǔn)備程序。最近幾年，大數(shù)據(jù)技術(shù)公司將數(shù)據(jù)處理整合過程中相關(guān)技術(shù)集合，組合，提升后開發(fā)出專門用于數(shù)據(jù)融合的新工具。應(yīng)用這些直觀、可視、高效的軟件工具，數(shù)據(jù)準(zhǔn)備的過程的工效大大提高，在一定程度上解決了數(shù)據(jù)融合的技術(shù)瓶頸。
數(shù)據(jù)融合的另一瓶頸是思維。打個(gè)比方，數(shù)據(jù)融合就像水泥的現(xiàn)場(chǎng)合成。水泥制作可以從人工攪拌變?yōu)闄C(jī)械合成，提高了工效。但水泥配置仍需要正確的配方;沙、石、混凝土的比例，以及相關(guān)化學(xué)成份的添加對(duì)達(dá)到水泥的質(zhì)量標(biāo)準(zhǔn)至關(guān)重要。數(shù)據(jù)處理新工具使數(shù)據(jù)科學(xué)家從數(shù)據(jù)準(zhǔn)備的繁瑣工作中解放了出來，但如何根據(jù)每個(gè)數(shù)據(jù)分析項(xiàng)目量體定制，融合多源數(shù)據(jù)以形成有效的分析數(shù)據(jù)集仍是數(shù)據(jù)科學(xué)家必須面對(duì)的一個(gè)更具挑戰(zhàn)性的瓶頸。
多源的數(shù)據(jù)可以歸納為三大類：(1)一手?jǐn)?shù)據(jù)(Primary Data)，包括企業(yè)或組織直接采集掌控的內(nèi)部運(yùn)行數(shù)據(jù)和營(yíng)銷數(shù)據(jù)，(2)二級(jí)數(shù)據(jù)(Secondary Data)，第三者采集、整理、和提供的二手?jǐn)?shù)據(jù)，如經(jīng)濟(jì)指標(biāo)、人口普查、民意調(diào)查、網(wǎng)路數(shù)據(jù)等，(3)科學(xué)數(shù)據(jù)(Scientific Data)，包括科學(xué)研究 的成果、指數(shù)、算法、模型等。
這三類數(shù)據(jù)為數(shù)據(jù)為驅(qū)動(dòng)的智能決策提供了不同的觀察角度。一手?jǐn)?shù)據(jù)具體、靈活、快速積累能夠?qū)崟r(shí)或接近實(shí)時(shí)地為決策者提供監(jiān)測(cè)、追蹤、描述信息。二級(jí)數(shù)據(jù)一般是定期公布的數(shù)據(jù)，它能提供國(guó)家、地區(qū)、行業(yè)的狀況信息，成為數(shù)據(jù)分析中的可比性坐標(biāo)。科學(xué)數(shù)據(jù)的更新是不定時(shí)的，但它代表著目前科研成果，對(duì)數(shù)據(jù)分析的建模和算法提供科學(xué)基礎(chǔ)。在大數(shù)據(jù)分析項(xiàng)目中，數(shù)據(jù)科學(xué)家需要針對(duì)具體研究課題同時(shí)收集、整理、融合相關(guān)的三類數(shù)據(jù)。數(shù)據(jù)科學(xué)家的水平就體現(xiàn)在將三類數(shù)據(jù)合理、有效、有意義的融合上。
數(shù)據(jù)融合是目前大數(shù)據(jù)應(yīng)用和智能決策過程中一個(gè)瓶頸。這個(gè)挑戰(zhàn)引發(fā)了新一輪大數(shù)據(jù)工具的快速發(fā)展。根據(jù)2016年高德納公司數(shù)據(jù)管理和分析軟件工具的評(píng)估報(bào)告，自我服務(wù)式數(shù)據(jù)準(zhǔn)備軟件(Self-service Data Preparation)已成為發(fā)展最快的工具之一。這一發(fā)展趨勢(shì)應(yīng)引起我們的關(guān)注。同時(shí)，數(shù)據(jù)融合的思維瓶頸仍是所有數(shù)據(jù)科學(xué)家必須面對(duì)的更高層次的挑戰(zhàn)。
京公網(wǎng)安備 11010502049343號(hào)