大數(shù)據(jù)，這個用來形容資料爆炸量、多樣化以及數(shù)據(jù)更新快速的專有名詞，主要還是由物聯(lián)網(wǎng)傳感器、行動裝置…等小型設(shè)備所運(yùn)算結(jié)果集結(jié)成的。
有人預(yù)測2015年，將是大數(shù)據(jù)相當(dāng)成功的一年。諷刺的是，這裡指的不是因?yàn)樗麄兡芫℉adoop或Spark等復(fù)雜卻高效率的分布式計(jì)算系統(tǒng)。反過來說，2015 年我們將使用更優(yōu)于Hadoop 工具的方式，來處理過去使用大數(shù)據(jù)時伴隨而來的問題。
其中最大的變化在于，能有效佈署與管理收納網(wǎng)路服務(wù)的 Docker、企業(yè)計(jì)算容量等…開源技術(shù)的崛起，但相較于大數(shù)據(jù)能造成的潛在影響力還是相形見絀。知名彈性整合公司 SnapLogic 的 Darren Cunninhgam 更強(qiáng)調(diào)，幾乎所有具指標(biāo)性的大企業(yè)，趨勢顯示最終還是會回歸數(shù)據(jù)基本面。
▲ SnapLogic 公司的 Darren Cunninhgam 在 Twitter 以 Big、small、fast、slow…等來形容大數(shù)據(jù)Big Data 千變?nèi)f化特性。
但問題是，大多時刻我們探討這些數(shù)據(jù)的機(jī)會，遠(yuǎn)多于投入實(shí)際使用。早在2013 年，Darren Cunninhgam 即指出每個人都知道他們需要做的事情與大數(shù)據(jù)息息相關(guān)，但實(shí)際上卻很少人懂得如何運(yùn)用。即便2014年都快已過完，這現(xiàn)象始終沒改變。大多數(shù)企業(yè)仍然沒有對這些數(shù)據(jù)資料花費(fèi)太多心思，甚至對一些人來說這更是個復(fù)雜難題，除了專業(yè)科學(xué)家會好好使用外，這些付費(fèi)就能取得的open-source 工具，對一般人來說要使用實(shí)在太困難了。
甚至多數(shù)人對大數(shù)據(jù)長久下來一直充滿誤解。舉個例子，來自Bloomberg(專業(yè)財(cái)經(jīng)媒體)負(fù)責(zé)人Matt Hunt 宣稱：「在Bloomberg 我們并沒有大數(shù)據(jù)問題，反而是有中量資訊(medium data)問題，這裡指的中量資訊指的是量夠大、但適用于單一設(shè)備上，但并不需要龐大巨量的集群數(shù)據(jù)，相當(dāng)于Terabytes 兆位元，而不需要達(dá)PB 等級。」
日前與相關(guān)IT 機(jī)構(gòu)合作的NewVantage 透過調(diào)查表示，大數(shù)據(jù)能以PB 等級的驚人單位產(chǎn)生新聞，但大多數(shù)企業(yè)實(shí)際上也只需要管理到Terabytes 等級的數(shù)量。只有28% 的人認(rèn)為，與其挑戰(zhàn)大數(shù)據(jù)所帶來龐大的資料數(shù)據(jù)，他們更關(guān)心的是資料種類多樣性與更新速度。
在即將邁入2015 年此刻，許多企業(yè)仍因被迫使用 Hadoop 工具來面對他們的數(shù)據(jù)而飽受掙扎，特別當(dāng)他們不斷使用這些錯誤工具，套用在只能處理中量資訊資料的應(yīng)用程序中。
提到2015 大數(shù)趨勢，用「Big Data Gets Little」這句話就能看出端倪。于物聯(lián)網(wǎng)之于行動裝置的重要性，我們不能再單純以近乎失去判斷力、甚至盲從迷信的心態(tài)面對這些大數(shù)據(jù)工具。不過，Hadoop 是否還能像今年在物聯(lián)網(wǎng)中扮演重要角色?「那當(dāng)然!」Cloudera 公司創(chuàng)始人之一 Mike Olson 如是說：「新一代數(shù)據(jù)庫技術(shù)，并不會去破壞現(xiàn)有大企業(yè)習(xí)于使用的 OLTP 及OLAP 等結(jié)構(gòu)化數(shù)據(jù)處理與分析的市場，它雖然擁有前所未有的對于新數(shù)據(jù)分析與解鎖能力，甚至能讓我們以不同觀點(diǎn)去瞭解這世界上各種事物，無論是創(chuàng)造新機(jī)會或新市場，對大數(shù)據(jù)來說基本上還是須依靠物聯(lián)網(wǎng)，才能創(chuàng)造出更巨大機(jī)會。」
不過對 Hadoop 來說，雖為目前最理想用來處理大量數(shù)據(jù)的工具，卻沒有足夠即時分析數(shù)據(jù)的能力。為能有效追蹤物聯(lián)網(wǎng)數(shù)據(jù)，NoSQL 數(shù)據(jù)庫對 Hadoop 來說扮演重要輔助角色，使得能夠即時回應(yīng)實(shí)用數(shù)據(jù)成為可能。
有鑑于物聯(lián)網(wǎng)產(chǎn)生數(shù)據(jù)(包括透過全新傳感器、全新的數(shù)據(jù)類型…等)不斷變化的特性，像 NoSQL這樣的數(shù)據(jù)庫是必須存在的，Machina 在一份研究中更假設(shè)：「從來自愈來愈多不同傳感器、設(shè)備、或應(yīng)用程序產(chǎn)生出愈來愈多的指數(shù)，一個事件會伴隨出更多樣化結(jié)構(gòu)數(shù)據(jù)，這些附加數(shù)據(jù)範(fàn)圍從企業(yè)系統(tǒng)到眾包數(shù)據(jù)，都必須經(jīng)過整合才能傳成有效資料。」
很多大數(shù)據(jù)工作迄今已將 Hadoop 與相關(guān)數(shù)據(jù)庫系統(tǒng)或 RDBMS 做整合，但這卻不是最理想的整合方式。根據(jù)權(quán)威 IT 行業(yè)分析機(jī)構(gòu) Gartner 指出，「因?yàn)槲锫?lián)網(wǎng)與各種行動裝置應(yīng)正迫使我們思考產(chǎn)生變化，并影響到我們之于這些數(shù)據(jù)的互動方式。」
在 2015 年，更多的大數(shù)據(jù)將同步從企業(yè)數(shù)據(jù)資料庫轉(zhuǎn)移至 Hadoop 端、或從嚴(yán)謹(jǐn)?shù)?RDBMS 轉(zhuǎn)移到更靈活的 NoSQL。毫無疑問地，物聯(lián)網(wǎng)是成為這場變革的最大驅(qū)動力。
京公網(wǎng)安備 11010502049343號