隨著互聯(lián)網(wǎng)的飛速發(fā)展及計算機(jī)技術(shù)的日益進(jìn)步,人們的日常生活越來越依賴于互聯(lián)網(wǎng)。即時通訊、網(wǎng)絡(luò)購物、社交網(wǎng)站以及微博、微信等典型的互聯(lián)網(wǎng)應(yīng)用已成為了人們?nèi)粘I钪胁豢苫蛉钡囊徊糠郑葷M足了人們情感交流的需要,又給人們的物質(zhì)生活帶來了極大的便利。反過來,人們對于互聯(lián)網(wǎng)的廣泛使用也給網(wǎng)絡(luò)留下了越來越龐大的數(shù)據(jù)。這些數(shù)據(jù)包括:用戶上傳的各類文字、照片、視頻以及用戶在各類網(wǎng)站留下的日志記錄等。這類數(shù)據(jù)的規(guī)模變得日益龐大,例如,百度一家公司擁有的數(shù)據(jù)量就高達(dá)數(shù)百PB(1 PB = 1,024 TB)。歸納起來,這類數(shù)據(jù)具有4V特征:Volume(數(shù)據(jù)量大)、Variety(數(shù)據(jù)種類多)、Value(價值密度低)、Velocity(處理速度要快)。近幾年來,互聯(lián)網(wǎng)應(yīng)用及網(wǎng)絡(luò)接入帶寬都獲得了長足發(fā)展,毫無疑問,大數(shù)據(jù)時代已經(jīng)來臨。
大數(shù)據(jù)的興起給網(wǎng)絡(luò)領(lǐng)域的科學(xué)研究和工程實(shí)踐帶來了革命性的變化,這也是這幾年來大數(shù)據(jù)一直為專家學(xué)者及工程師們在各類場合所“津津樂道”的原因。總結(jié)起來,大數(shù)據(jù)所帶來的變化主要體現(xiàn)在以下幾點(diǎn):
1、當(dāng)前,數(shù)據(jù)的發(fā)展演進(jìn)已由DB(Data Base)走向BD(Big Data)。BD和DB存在著很大的不同。與DB相比,BD的體積大得多,處于TB級,乃至PB級,甚至更高。但DB中的數(shù)據(jù)是高質(zhì)量的,干凈的,數(shù)據(jù)價值密度高;而BD中的數(shù)據(jù)卻與之相反,單位密度的數(shù)據(jù)價值很低,是非結(jié)構(gòu)化的。如何在BD數(shù)據(jù)的高存儲及計算成本與低密度價值之間尋找到最佳平衡將是大數(shù)據(jù)研究的一項(xiàng)長期課題。
2、大數(shù)據(jù)研究的側(cè)重點(diǎn)在于相關(guān)性而不是因果性。傳統(tǒng)的科學(xué)研究講究因果關(guān)系,強(qiáng)調(diào)的是精確性;但在大數(shù)據(jù)里面,相關(guān)性成為了研究的焦點(diǎn)。顯然,在相關(guān)性這個范疇內(nèi),對事物的預(yù)測就不能做到絕對精確,而只能在一定的置信區(qū)間內(nèi)對未來做出一定的判斷。事物間存在較強(qiáng)相關(guān)性的例子很多,比如,Google通過分析用戶對感冒相關(guān)癥狀的搜索頻度能預(yù)測流感;阿里巴巴通過對電子商務(wù)交易量的下降能預(yù)測金融危機(jī)。上述所列舉的相關(guān)性例子易于被理解,其實(shí),令人費(fèi)解的例子也不少。例如,有專家發(fā)現(xiàn):人的增重與房屋租賃存在著很強(qiáng)的相關(guān)性,這就不容易被理解了,但二者之間卻存在著很強(qiáng)的相關(guān)性,可以為我們所用,盡管二者之間并沒有直接的因果關(guān)系。總的來講,大數(shù)據(jù)分析側(cè)重于挖掘不同事物間的相關(guān)性并以此作為作出各類判斷的依據(jù)。
3、大數(shù)據(jù)使運(yùn)算更依賴于數(shù)據(jù)而不是算法。運(yùn)算可以抽象成簡單的表達(dá)式:Y=F(X),F(xiàn)()代表的是算法;而X代表的是數(shù)據(jù);Y代表我們希望得到的結(jié)果。在大數(shù)據(jù)時代,F(xiàn)()的重要性下降了,而X的重要性大幅增加,因?yàn)檩^多的數(shù)據(jù)對于結(jié)果的影響要好于較好的模型。
總之,隨著互聯(lián)網(wǎng)的飛速發(fā)展,大數(shù)據(jù)時代已經(jīng)來臨。大數(shù)據(jù)的特征也日益清晰,大數(shù)據(jù)的價值是顯而易見的。圍繞著大數(shù)據(jù)這座“數(shù)字寶藏”,越來越多的專家學(xué)者以及工程師正在不斷地加入“數(shù)據(jù)礦工”的行列,正在用他們的智慧去挖掘“數(shù)字寶藏”中蘊(yùn)含的彌可珍貴的“數(shù)字金礦”。互聯(lián)網(wǎng)的飛速發(fā)展產(chǎn)生了巨量的“數(shù)字寶藏”,而“數(shù)字寶藏”的開發(fā)利用必將反過來促進(jìn)互聯(lián)網(wǎng)的進(jìn)一步發(fā)展,催生新的互聯(lián)網(wǎng)殺手锏應(yīng)用,最終造福于廣大網(wǎng)民。