大數(shù)據(jù)也可用來形容人們創(chuàng)造的大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
1. 大數(shù)據(jù)實質(zhì)
大數(shù)據(jù)的實質(zhì)是什么？雖然目前國內(nèi)外都還沒有統(tǒng)一的定義或認識，但從狹義的字面來理解的話，它應(yīng)該與小數(shù)據(jù)相對應(yīng)，大數(shù)據(jù)意指數(shù)據(jù) 量特別巨大，超出了我們常規(guī)的處理能力，必須引入新的科學(xué)工具和技術(shù)手段才能夠進行處理的數(shù)據(jù)集合。（所謂的小數(shù)據(jù)指的是數(shù)據(jù)規(guī)模比較小，用我們的傳統(tǒng)工 具和方法足以進行處理的數(shù)據(jù)集合）。比如牛頓時代的各門自然科學(xué)，其數(shù)據(jù)量都不大，第谷觀測了20年的天文數(shù)據(jù)，開普勒很快用手工就處理完畢，并從中發(fā)現(xiàn) 了開普勒定律。后來，隨著科學(xué)的發(fā)展，數(shù)據(jù)量有了比較大的增加，為了處理這些當(dāng)時看來的“大數(shù)據(jù)”，統(tǒng)計學(xué)家創(chuàng)造了抽樣方法，由此解決了數(shù)據(jù)處理難題。現(xiàn) 在的大數(shù)據(jù)卻是所謂的海量數(shù)據(jù)，各種數(shù)據(jù)的差別又特別巨大，用抽樣方法也難于處理，只能用現(xiàn)在的數(shù)據(jù)挖掘和云計算、云存儲等新技術(shù)才能解決。從廣義來說， 大數(shù)據(jù)指的是一種新的數(shù)據(jù)世界觀，它將世界上的一切事物都看作是由數(shù)據(jù)構(gòu)成的，一切皆可“量化”，都可以用編碼數(shù)據(jù)來表示。這就是舍恩伯格所說的：“大數(shù) 據(jù)是人們獲得新認知、創(chuàng)造新價值的源泉；大數(shù)據(jù)還是改變市場、組織機構(gòu)，以及政府與公民關(guān)系的方法。”
2. 大數(shù)據(jù)的特點
大數(shù)據(jù)的特點被人總結(jié)為4個“V”：第一，Volume(大量)，即數(shù)據(jù)數(shù)量巨大。從TB級別，躍升到PB級別。第 二，Variety(多樣)，即數(shù)據(jù)類型繁多。除了標(biāo)準(zhǔn)化的結(jié)構(gòu)化編碼數(shù)據(jù)之外，還包括網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等非結(jié)構(gòu)化或無結(jié)構(gòu)數(shù)據(jù)。第 三，Value(價值)，即商業(yè)價值高，但價值密度低。在數(shù)據(jù)的海洋中不斷尋找，才能掏出一些有價值的東西，可謂“沙里淘金”。第 四，Velocity(高速)，即處理速度快，實時在線。各種數(shù)據(jù)基本上實時、在線，并能夠進行快速的處理、傳送和存儲，以便全面反映對象的當(dāng)下狀況。
3. 大數(shù)據(jù)的哲學(xué)基礎(chǔ)：同構(gòu)關(guān)系——大數(shù)據(jù)的數(shù)理哲學(xué)基礎(chǔ)
大數(shù)據(jù)可認為是人類的認識和實踐，也就是一個數(shù)據(jù)搜索、處理、挖掘和創(chuàng)造的過程。大數(shù)據(jù)方法揭示的因果關(guān)系是常規(guī)性的，數(shù)據(jù)反映的 是具有同構(gòu)關(guān)系的兩個序列關(guān)系信息，一個對象的運動軌跡，通過另一個序列的載體編碼來表述。認識者獲得的不是對象本身的絕對映像，而是離開了對象，從對象 中抽象出來的、關(guān)于對象運動軌跡的數(shù)據(jù)。從這一角度看，同構(gòu)關(guān)系是大數(shù)據(jù)的數(shù)理哲學(xué)基礎(chǔ)。反映宇宙中形形色色事物的多樣化屬性和規(guī)律的大數(shù)據(jù)，這些結(jié)構(gòu)性 和非結(jié)構(gòu)性的數(shù)據(jù)，都統(tǒng)一表現(xiàn)為數(shù)字形式，以0和1按邏輯 關(guān)系編碼，而且具有可逆性。這表明，統(tǒng)一的宇宙中的一切事物之間都存在著具有時空一致性的同構(gòu)關(guān)系。這種關(guān)系意味著任何事物的屬性和規(guī)律，只要通過適當(dāng)?shù)?編碼，都可以通過統(tǒng)一的數(shù)字信號表達出來；換句話說，一種事物的屬性和規(guī)律，可以通過數(shù)據(jù)的媒介，表現(xiàn)在另一種事物運動序列中。（見圖一）
圖一
對象的結(jié)構(gòu)數(shù)據(jù)與人的感覺映像的結(jié)構(gòu)數(shù)據(jù)是一致的，更嚴格地說，是同構(gòu)的。
4. 大數(shù)據(jù)研究方法的變革
4.1 大數(shù)據(jù)與傳統(tǒng)模型有很大區(qū)別
在物質(zhì)形式的模型中，模型來源屬于天然存在物的便是天然模型，模型來源屬于人工制造物的便是人工模型。在思維形式的模型中，根據(jù)模 型不同的特點分為：理想模型、數(shù)學(xué)模型、理論模型以及半經(jīng)驗半理論模型。理想模型強調(diào)的是模型的抽象性，數(shù)學(xué)模型強調(diào)的是模型的數(shù)學(xué)基礎(chǔ)，理論模型強調(diào)的 是模型的理論基礎(chǔ)，而半經(jīng)驗半理論模型強調(diào)的是模型的來源，既包含理論成分，又包含經(jīng)驗成分。就它們的區(qū)別而言，首先，大數(shù)據(jù)模型并不具有物質(zhì)形式，因此 并非物質(zhì)形式的科學(xué)模型；其次，大數(shù)據(jù)模型是根據(jù)海量數(shù)據(jù)以及算法得出，無理論介入，因此也非理論模型；再次，大數(shù)據(jù)模型從海量的數(shù)據(jù)出發(fā)，通過復(fù)雜的計 算，最終得出復(fù)雜的模型，都是具體的數(shù)據(jù)運算，并無抽象過程；最后，大數(shù)據(jù)模型雖涉及算法，但大數(shù)據(jù)模型與數(shù)學(xué)模型的得出過程不同，數(shù)學(xué)模型是通過尋找研 究問題與數(shù)學(xué)結(jié)構(gòu)的對應(yīng)關(guān)系而確定，大數(shù)據(jù)模型則是通過尋找海量數(shù)據(jù)與算法的對應(yīng)關(guān)系而確定。顯然，大數(shù)據(jù)的模型方法與這里列出的已有科學(xué)模型方法均不相 同，是一種新型的模型方法，更多地體現(xiàn)為一種經(jīng)驗?zāi)Ｐ汀?/p>
4.2 大數(shù)據(jù)模型與統(tǒng)計建模比較，也有本質(zhì)的不同
數(shù)據(jù)挖掘作為一個多學(xué)科交叉的領(lǐng)域，涉及到數(shù)據(jù)庫、統(tǒng)計學(xué)、機器學(xué)習(xí)等領(lǐng)域；從模型方法的角度來看，其中最為相近的是統(tǒng)計學(xué)。盡管數(shù)據(jù)挖掘涉及一定的統(tǒng)計基礎(chǔ)，但數(shù)據(jù)挖掘與統(tǒng)計建模還是有本質(zhì)的區(qū)別。
首先，科學(xué)研究中的地位不同。統(tǒng)計建模經(jīng)常是經(jīng)驗研究和理論研究的配角和檢驗者，而在大數(shù)據(jù)的科學(xué)研究中，數(shù)據(jù)模型就是主角，模型承擔(dān)了科學(xué)理論的角色。
其次，數(shù)據(jù)類型不同。統(tǒng)計建模的數(shù)據(jù)通常是精心設(shè)計的實驗數(shù)據(jù)，具有較高的質(zhì)量；而大數(shù)據(jù)中則是海量數(shù)據(jù)，往往類型雜多，質(zhì)量較低。
再次，確立模型的過程不同。統(tǒng)計建模的模型是根據(jù)研究問題而確定的，目標(biāo)變量預(yù)先已經(jīng)確定好；大數(shù)據(jù)中的模型則是通過海量數(shù)據(jù)確定的，且部分情況下目標(biāo)變量并不明確。
最后，建模驅(qū)動不同。統(tǒng)計建模是驗證驅(qū)動，強調(diào)的是先有設(shè)計再通過數(shù)據(jù)驗證設(shè)計模型的合理性；而大數(shù)據(jù)模型是數(shù)據(jù)驅(qū)動，強調(diào)的是建模過程以及模型的可更新性。
由此可見，盡管大數(shù)據(jù)與統(tǒng)計建模均是從數(shù)據(jù)中獲取模型，但兩者具有很大的區(qū)別，大數(shù)據(jù)帶來的是一種新的模型方法，大數(shù)據(jù)中的模型是數(shù)據(jù)驅(qū)動的經(jīng)驗?zāi)Ｐ汀?/p>
5. 大數(shù)據(jù)與哲學(xué)聯(lián)系——數(shù)據(jù)挖掘的過程就是認識論的過程
近現(xiàn)代科學(xué)最重要的特征是尋求事物的因果性。無論是唯理論還是經(jīng)驗論，事實上都在尋找事物之間的因果關(guān)系，區(qū)別只在尋求因果關(guān)系的 方式不同。大數(shù)據(jù)最重要的特征是重視現(xiàn)象間的相關(guān)關(guān)系，并試圖通過變量之間的依隨變化找尋它們的相關(guān)性，從而不再一開始就把關(guān)注點放在內(nèi)在的因果性上，這 是對因果性的真正超越。科學(xué)知識從何而來？傳統(tǒng)哲學(xué)認為要么來源于經(jīng)驗觀察，要么來源于所謂的正確理論，大數(shù)據(jù)則通過數(shù)據(jù)挖掘“讓數(shù)據(jù)發(fā)聲”，提出了全新 的“科學(xué)始于數(shù)據(jù)”這一知識生產(chǎn)新模式。由此，數(shù)據(jù)成了科學(xué)認識的基礎(chǔ)，而云計算等數(shù)據(jù)挖掘手段將傳統(tǒng)的經(jīng)驗歸納法發(fā)展為“大數(shù)據(jù)歸納法”，為科學(xué)發(fā)現(xiàn)提 供了認知新途徑。大數(shù)據(jù)通過海量數(shù)據(jù)來發(fā)現(xiàn)事物之間的相關(guān)關(guān)系，通過數(shù)據(jù)挖掘從海量數(shù)據(jù)中尋找蘊藏其中的數(shù)據(jù)規(guī)律，并利用數(shù)據(jù)之間的相關(guān)關(guān)系來解釋過去、 預(yù)測未來，從而用新的數(shù)據(jù)規(guī)律補充傳統(tǒng)的因果規(guī)律。大數(shù)據(jù)給傳統(tǒng)的科學(xué)認識論提出了新問題，也帶來了新挑戰(zhàn)。一方面，大數(shù)據(jù)用相關(guān)性補充了傳統(tǒng)認識論對因 果性的偏執(zhí)，用數(shù)據(jù)挖掘補充了科學(xué)知識的生產(chǎn)手段，用數(shù)據(jù)規(guī)律補充了單一的因果規(guī)律，實現(xiàn)了唯理論和經(jīng)驗論的數(shù)據(jù)化統(tǒng)一，形成了全新的大數(shù)據(jù)認識論；另一 方面，由相關(guān)性構(gòu)成的數(shù)據(jù)關(guān)系能否上升為必然規(guī)律，又該如何去檢驗，仍需要研究者作出進一步思考。
大風(fēng)大浪中，有時也需要清清心，喝杯茶。
京公網(wǎng)安備 11010502049343號