大數(shù)據(jù)正在改變我們的生活,影響我們思考和解決問(wèn)題的方式,為了適應(yīng)時(shí)代的潮流,組織必須學(xué)會(huì)用數(shù)據(jù)說(shuō)話,如果坐擁大量的數(shù)據(jù)卻束手無(wú)策或無(wú)動(dòng)于衷,那和沒(méi)有數(shù)據(jù)是一樣的。但是,在進(jìn)行數(shù)據(jù)分析時(shí),完全的自我創(chuàng)造是不可取的,因?yàn)橛写罅靠梢宰裱徒梃b的經(jīng)驗(yàn)?zāi)芄?jié)約大量的時(shí)間和成本。最近, OrionX.net 的聯(lián)合創(chuàng)始人Shahin Khan 就發(fā)表了一篇文章,介紹了他的 團(tuán)隊(duì)從大數(shù)據(jù)、物聯(lián)網(wǎng)和云計(jì)算市場(chǎng)上總結(jié)的經(jīng)驗(yàn)和規(guī)律 。
保留數(shù)據(jù)的成本要比刪除數(shù)據(jù)的成本低。另外,還要有多個(gè)備份。正因?yàn)楸A袅俗銐蚨嗟臄?shù)據(jù),大數(shù)據(jù)才成為可能,因此無(wú)論如何都不要?jiǎng)h除數(shù)據(jù),因?yàn)槟悴恢朗裁磿r(shí)候會(huì)用到它,刪除這些數(shù)據(jù)會(huì)有哪些法律風(fēng)險(xiǎn)。保留數(shù)據(jù)的成本很低,另外,如果將來(lái)發(fā)生了什么事情,你也能從這些數(shù)據(jù)中找到證據(jù)。
無(wú)論開(kāi)始收集數(shù)據(jù)的動(dòng)機(jī)是什么,它們都會(huì)導(dǎo)致你收集更多的數(shù)據(jù)。大部分?jǐn)?shù)據(jù)收集工作關(guān)注于正在進(jìn)行的活動(dòng),但一旦知道了如何使用這些數(shù)據(jù),獲取更多數(shù)據(jù)的意愿就會(huì)增加。
大數(shù)據(jù)系統(tǒng)開(kāi)始較小,但慢慢會(huì)變大,沒(méi)有中間大小。很少有中等規(guī)模的大數(shù)據(jù)系統(tǒng),一旦某個(gè)項(xiàng)目的理念被證明是有前景的,那么它很快就會(huì)變大,并在迅速發(fā)展的同時(shí)孵化新項(xiàng)目。
數(shù)據(jù)必須流向有價(jià)值的地方,要考慮功能的上下文有什么價(jià)值。未使用的數(shù)據(jù)是一種閑置的資產(chǎn),很有可能會(huì)造成價(jià)值的貶值。如果將大數(shù)據(jù)看做是工作流,那么必須將數(shù)據(jù)流向最有價(jià)值的地方。
永遠(yuǎn)都不要假設(shè)你知道原因是什么,有什么影響。大數(shù)據(jù)的大部分應(yīng)用場(chǎng)景都是有價(jià)值的,值得付出努力,但是它的因果關(guān)系非常復(fù)雜,數(shù)據(jù)的不完整、用戶的偏見(jiàn)不可避免。
有關(guān)數(shù)據(jù)與無(wú)關(guān)數(shù)據(jù)之間的比率將逐漸趨向于零。數(shù)據(jù)有很多,但通常情況下大部分都是無(wú)用的,只有一少部分有價(jià)值。收集的數(shù)據(jù)越多,這種現(xiàn)象越明顯,也就是說(shuō)無(wú)關(guān)數(shù)據(jù)的增長(zhǎng)速度要遠(yuǎn)高于相關(guān)數(shù)據(jù)的增長(zhǎng)速度。
分析的最終目的是合成。分析完成之后便需要合成,當(dāng)然這需要引入機(jī)器學(xué)習(xí)和認(rèn)知算法。
時(shí)間=金錢(qián)=數(shù)據(jù)。數(shù)據(jù)是一種資產(chǎn),雖然它可以升值,但大多數(shù)時(shí)候隨著新數(shù)據(jù)替代老數(shù)據(jù),歷史數(shù)據(jù)的價(jià)值會(huì)越來(lái)越低,因?yàn)樗南嚓P(guān)性會(huì)越來(lái)越差。所以必須知道數(shù)據(jù)的“利率”,知道它貶值的速度有多快。
容量大—速度快—種類(lèi)多—價(jià)值密度低 vs. 不可再現(xiàn)—不相關(guān)—不完整—不正確。數(shù)據(jù)的質(zhì)量直接影響數(shù)據(jù)挖掘的質(zhì)量。
給你足夠的數(shù)據(jù),你就能證明事物的“正反兩面”。數(shù)據(jù)量越大,從中找到有價(jià)值信息的難度就越大,數(shù)據(jù)的復(fù)雜性、不合理的動(dòng)機(jī)和無(wú)知都可能會(huì)造成無(wú)效的結(jié)論;但另一方面,數(shù)據(jù)越多,支持假設(shè)的證據(jù)就會(huì)越充分,通過(guò)完全科學(xué)的方法,有時(shí)這種支持率甚至?xí)饾u接近100%。
大數(shù)據(jù)的結(jié)論開(kāi)始通常是有趣但無(wú)用的,但最終會(huì)變成有效且有用的。在新媒體時(shí)代,有趣但膚淺的內(nèi)容要比深刻有見(jiàn)地的內(nèi)容多得多,價(jià)值挖掘需要對(duì)數(shù)據(jù)有深刻的理解,但這需要時(shí)間。
隨著數(shù)據(jù)量的增長(zhǎng),大數(shù)據(jù)和 高性能計(jì)算(HPC) 需要結(jié)合在一起。
如果有200行數(shù)據(jù),可以使用電子表格;但如果有20億行數(shù)據(jù),就必須使用HPC。此外,隨著數(shù)據(jù)量的增長(zhǎng),還需要數(shù)學(xué)和科學(xué)的知識(shí)將數(shù)據(jù)轉(zhuǎn)換成模型。