之前在虎嗅發(fā)了一篇文章《大數(shù)據(jù)行業(yè)里的兩大誤區(qū)》，很多朋友評價還不錯，受此激勵，結(jié)合最近目睹、經(jīng)歷的項目，想多寫一些。經(jīng)過筆者總結(jié)，發(fā)現(xiàn)大數(shù)據(jù)的誤區(qū)還真是不少，尤其是國內(nèi)，很多人以訛傳訛，造成了很多基本概念的偏差。接上一篇文章，再來談談大數(shù)據(jù)中的一部分誤區(qū)，供大家拍磚。
誤區(qū)三：數(shù)據(jù)量特別大才叫大數(shù)據(jù)
在“數(shù)據(jù)界”存在這樣有一波人，他們認為“只有Peta級以上的才叫大數(shù)據(jù)，甚至到了Zeta以上才叫大數(shù)據(jù)，目前還沒有到真正的大數(shù)據(jù)時代！”，每次聽到這樣的話，我就知道這些人受IOE某巨頭的4V理論中的“容量”影響太巨大了。對此，我想說的第一句話是“盡信書不如無書，盡信巨頭不如去IOE”，去IOE不只是要從硬件做起，還要從思想上敢于挑戰(zhàn)巨頭做起，盡管很多IT界的經(jīng)典理論都是傳統(tǒng)巨頭提出的，但是隨著挑戰(zhàn)者的出現(xiàn)，萌發(fā)了新的思想和技術(shù)后，傳統(tǒng)巨頭會被慢慢顛覆，這也是我們?nèi)祟惽斑M向前的一個重要因素。如果我們還停留在迷信巨頭的時代，如此刻板教條的去追求一個概念，那么就不會有現(xiàn)在的Hadoop，不會有現(xiàn)在的Spark，不會有現(xiàn)在的特斯拉，不會有機器學習人工智能，更不會有未來的第N次工業(yè)革命。
首先我想強調(diào)，大數(shù)據(jù)技術(shù)真的不是一個新鮮詞，在之前的文章中我已經(jīng)說過，大數(shù)據(jù)的本質(zhì)還是數(shù)據(jù)，數(shù)據(jù)這個行業(yè)已經(jīng)發(fā)展了若干年，而數(shù)據(jù)量的規(guī)模永遠是超出該時代的想象的，比如十幾年前，一張軟盤的數(shù)據(jù)量也就1.44M，當時的數(shù)據(jù)如果達到1T都讓旁人咂舌。那么按數(shù)據(jù)量的標準，當時如果有人收集了1T數(shù)據(jù)就已經(jīng)進入大數(shù)據(jù)時代了嗎？顯然不是！所以我想說，數(shù)據(jù)量的大小并不是衡量大數(shù)據(jù)的標準，如果按數(shù)據(jù)量去判斷是否大數(shù)據(jù)的話，那么“大數(shù)據(jù)”這個詞真的是一個偽命題，就如同“老虎比如是老的，小伙必須是小的，巨頭必須是腦袋大的，飛人必須是長翅膀的”這種純粹字面意思去定義的話題一樣。
那么再回過來說，大數(shù)據(jù)的概念是什么？首先，大數(shù)據(jù)是一個完整的生態(tài)體系，從數(shù)據(jù)的產(chǎn)生、采集、加工、匯總、展現(xiàn)、挖掘、推送等方面形成了一個閉環(huán)的價值鏈，并且通過每個環(huán)節(jié)的多種技術(shù)處理后，為所在業(yè)務場景提供有價值的應用和服務。其次，大數(shù)據(jù)的核心是什么？一方面是開源，一方面是節(jié)流，目前大數(shù)據(jù)技術(shù)的核心目標都是通過低成本的技術(shù)更好的滿足對數(shù)據(jù)的需求（尤其是處理近年來更多的非結(jié)構(gòu)化數(shù)據(jù)），并在在滿足需求的基礎(chǔ)上盡可能多的為企業(yè)節(jié)省投資。說一千道一萬，大數(shù)據(jù)的核心理念還是滿足應用需求，有明確目標的技術(shù)叫生產(chǎn)力，沒有業(yè)務目標的技術(shù)叫“浪費生命力”。
誤區(qū)四：為了大數(shù)據(jù)而大數(shù)據(jù)
這個誤區(qū)我認為是目前最嚴重的。在部分企業(yè)中，追求技術(shù)一定要最新、最好、最炫，一定要拿到國際先進、世界一流才行。所有的企業(yè)，不分行業(yè)不分性質(zhì)不分地域不分年代，一律高喊“趕超BAT，大數(shù)據(jù)助力**企業(yè)達到**目標”，接下來就是先去IOE，然后投資買集群，把之前的各種高性能小型機大型機都不用了，之前買的O記授權(quán)全部停了，之前的幾十年投資一夜之間作廢，又投入了更多的資源去追趕“大數(shù)據(jù)”。
同學們，這種勞民傷財?shù)氖虑橄嘈糯蠹颐刻於紩牭交蛘哂H眼看到，很多企業(yè)不計成本就是為了博領(lǐng)導一笑，這得是多么大的誤區(qū)啊。對此我想說：
第一，從技術(shù)上來說，比如BAT或者很多互聯(lián)網(wǎng)企業(yè)去追求大數(shù)據(jù)，是因為業(yè)務發(fā)展的需要。任何一個互聯(lián)網(wǎng)企業(yè)一出生就是為了流量和點擊而活著，這就意味這大量的非結(jié)構(gòu)化數(shù)據(jù)需要進行快速處理，這時候就決定了互聯(lián)網(wǎng)企業(yè)只能通過一些并發(fā)手段去分解底層的數(shù)據(jù)，然后進行快速加工，并滿足其服務用戶和市場的需要。互聯(lián)網(wǎng)企業(yè)的業(yè)務流程和業(yè)務模型就決定了必須得采用大數(shù)據(jù)技術(shù)。反之，很多企業(yè)根本用不著這些技術(shù)，有些企業(yè)簡單的一兩個Excel文件里面做幾個公式就可以滿足它的發(fā)展，而且數(shù)據(jù)的周期還是按月處理的，根本不需要運用這些技術(shù)。
第二，從投資上來說，互聯(lián)網(wǎng)企業(yè)出生都是平民，根本買不起大型設(shè)備，就算一夜暴富后，也沒有一個傳統(tǒng)的小型機大型機可以更好的滿足它們的發(fā)展，故只能另辟蹊徑創(chuàng)造價值鏈和標準了，在之前的低投資、輕量級架構(gòu)上，不斷進行小量的線性硬件投資滿足業(yè)務的發(fā)展。反倒是一些傳統(tǒng)企業(yè)，甚至是巨無霸，其投資計劃已經(jīng)在一年前明確，而且在原來的基礎(chǔ)上投資會更有ROI（投資回報率），現(xiàn)在反倒為了追求大數(shù)據(jù)的口號，犧牲了之前的大量投資，除了“得不償失”，剩下的只能是滿地的節(jié)操了。
大數(shù)據(jù)技術(shù)甚至任何一種技術(shù)都是為了滿足特定的業(yè)務目標而生的，在具備了明確的業(yè)務目的后，順勢設(shè)計符合自身業(yè)務架構(gòu)的技術(shù)架構(gòu)，才是一種科學的健康的發(fā)展觀。如果您是一位老板、CEO或者投資人，千萬要明白，大數(shù)據(jù)技術(shù)對于企業(yè)來說，有時候像水，而企業(yè)的業(yè)務目標就是那艘船，“水能載舟，亦能覆舟”。
隨著生產(chǎn)關(guān)系的不斷調(diào)整，又會出現(xiàn)若干輪生產(chǎn)力的不斷進步，大數(shù)據(jù)之后的技術(shù)也會日新月異的進步著，比如現(xiàn)在開始潮流涌現(xiàn)的“機器學習、深度學習”等諸多的人工智能方面的技術(shù)，也出現(xiàn)了比如“小數(shù)據(jù)”、“微數(shù)據(jù)”等更細方向技術(shù)的細分，在技術(shù)的洪流到來時，只要保持清晰的以滿足業(yè)務為導向的頭腦，根據(jù)自身的業(yè)務需要設(shè)計自身的技術(shù)架構(gòu)，就不會被各種流派，各種概念淹沒。
京公網(wǎng)安備 11010502049343號