編者按：本文來自道哥的黑板報，微信ID：taosay，原文是分為兩天撰寫完成的，為了大家的閱讀方面，我們一次性整合在一篇文章了，推薦大家關注作者的微信號。
（一）
很久前就想寫一篇關于大數(shù)據(jù)的文章，但總是因為覺得自己功力不夠所以遲遲不敢動筆。再到后來發(fā)現(xiàn)大數(shù)據(jù)的概念已經(jīng)爛大街了，現(xiàn)在只要是個做產(chǎn)品的，收了點用戶數(shù)據(jù)，就敢把自己叫大數(shù)據(jù)，似乎不這么說的產(chǎn)品都是非主流了。
我也不想老生常談的講數(shù)據(jù)到底要多大才能稱得上大數(shù)據(jù)，因為這似乎只是一個相對的值。我也不想講大數(shù)據(jù)應該搞多么牛B和復雜的算法，因為似乎一二十年前大學計算機課本里的《機器學習》就一直在講這些東西，很久前互聯(lián)網(wǎng)上就在用貝葉斯算法過濾垃圾郵件了，今天看起來也沒有什么本質(zhì)的改進。
后來我琢磨了很久，發(fā)現(xiàn)大家講的大數(shù)據(jù)其實沒有什么特別的，就是數(shù)據(jù)特別多，再加上點算法分析，就能叫自己大數(shù)據(jù)了。每當這種時候我就會懷疑是不是自己出了問題，因為別人都講的挺來勁的啊？
但真要說有什么特別的，我覺得還是有的，只是不知道其他人的想法是否和我一樣。我認為的大數(shù)據(jù)，是一種思想的改變，是一種不一樣的觀察這個世界的角度。因為數(shù)據(jù)化讓我們看到了事物的整體，所以我們看問題也從局部變成全局了，這會讓我們面對同樣的問題時，比過去要高效很多。
舉個簡單的例子，圍棋這個游戲，是典型的「a minute to learn，a lifetime to master」。初學者和職業(yè)棋手之間的差距，不僅在于天賦和經(jīng)驗。對于圍棋的初學者來說，熟悉規(guī)則后，下棋的過程是跟著感覺，愛怎么走就怎么走。但是真正的職業(yè)棋手不是這么下的，他們每天都會做大量的死活題，在他們的腦海里，因為記憶了幾萬道死活棋型，以及很多定式和手筋，所以面對初學者時，基本上能夠做到出現(xiàn)什么局面，都有對應的一種應對方法。
職業(yè)棋手已經(jīng)可以做到部分窮舉棋盤上的變化，所以面對初學者時，就像一個高維度的智慧體面對低維度的智慧體一樣輕松。這種對棋盤變化的窮舉和記憶，我認為就是大數(shù)據(jù)。
同樣的，在電影「中國合伙人」里有這么一個片段：新夢想（新東方原型）面對美國人的起訴，美國人認為中國學生作弊了，他們不可能考出那么高的分。此時成東青（俞敏洪原型）拿起了一本書，讓對方隨意翻到某一頁，他就能把那頁的內(nèi)容背誦出來 — 這是在來時的飛機上閑的蛋疼就把那本書給背了 — 美國人都看傻了。美國人可能永遠都無法想中國學生在面對GRE考試時居然會采用背字典這樣的笨辦法。
像這種背字典、大量題海戰(zhàn)術的方式，我認為也是大數(shù)據(jù)。這樣的方式背后的付出是艱辛的，數(shù)據(jù)量和「計算量」都很大，不會背字典和題庫的美國學生當然會考不過中國學生了。
所以，我認為大數(shù)據(jù)最終帶給我們的，是一種全新的思考方式。一方面我們看問題的角度從局部擴展到了整體，今天的計算能力已經(jīng)足夠支撐我們?nèi)タ吹绞挛锏娜浚涣硪环矫妫覀冇挚梢愿鶕?jù)這種思路，去創(chuàng)造和收集過去被我們忽視的數(shù)據(jù)。
大數(shù)據(jù)，不僅僅是大而已。
（二）
昨天偷懶了少了一次文字排版，沒想到好多朋友發(fā)消息來說字體變小了不習慣，看來堅持大一點的字體還是有好處的。
雖然很想保持高頻率更新，但沒想到回阿里后工作竟然比創(chuàng)業(yè)時還忙。經(jīng)常回家得比較晚，再加上每天腦力使用過度，所以竟是硬生生的斷更了兩周。在接下來我想如果可能的話，把更新的時間調(diào)整到周日的晚上，周末可能會稍微空閑點。
在此也再征集一下大家想看的話題，可以向我提問，我會選取部分作為接下來文章的選題。
延伸一下昨天關于大數(shù)據(jù)的話題。在安全行業(yè)里未來真正會具備核心競爭力的，我認為正是這樣的全局視角帶來的改變。
比如近年來興起的「撞庫」攻擊。因為各大公司用戶數(shù)據(jù)的泄露，黑客手上已經(jīng)擁有了數(shù)十億條用戶數(shù)據(jù)，其中20%包含了明文密碼。在過去黑客想破解一個用戶的密碼，可能會通過字符的排列組合生成一部字典，逐個嘗試，這樣破解的效率無疑是相當?shù)偷摹５F(xiàn)在因為有了全網(wǎng)用戶的「密碼庫」，只需要簡單的查詢用戶名，多半就能知道密碼是什么，簡單粗暴。
大數(shù)據(jù)就應該這么簡單粗暴的應用，以一種完全不講道理的方式直接達到效果，根本不需要什么精巧的算法，就像「把大象裝進冰箱」里一樣。
類似的，國外一家安全公司Akamai宣稱他們能非常有效的阻斷DDoS攻擊，原因是他們通過和運營商合作的方式獲取了全球30%左右的流量，從而能有效的監(jiān)控到全球所有的惡意IP，發(fā)現(xiàn)有攻擊過來，直接根據(jù)IP信息就阻斷了。這也是大數(shù)據(jù)的一種典型應用。
再舉一個例子，數(shù)據(jù)可能來自于過去沒有注意到的地方。對于電話詐騙的傳統(tǒng)解決思路，一般是從用戶的來電號碼著手，或者是從周邊信息比如短信、傳播來源入手。這些傳統(tǒng)方法已經(jīng)逐漸的變得效率低下。但目前有一種解決思路是根據(jù)用戶的「聲紋」信息進行有效識別，這樣只要積累了一個用戶的「聲紋信息庫」，就能夠在每個用戶通話時，直接識別出被標記為詐騙的那個用戶。
所謂「聲紋」就像是指紋信息一樣，每個人說話的聲音其實都是獨一無二的，通過數(shù)字化的方法能夠有效的識別出來。目前國外一些安全公司會把這種技術用在Call Center中進行反欺詐。但聲紋信息和指紋信息一樣，會成為國家安全基礎設施的一部分。比如國外的一些機構，一旦掌握了所有中國人，包括政府領導人的指紋信息，會釀成什么后果很難想象。這也是為什么中國政府的工作人員會禁用蘋果手機的原因，至少蘋果收集用戶的指紋信息會威脅到國家安全。
所以，我理解的大數(shù)據(jù)，和各種復雜的算法沒有直接關系，那最多只是錦上添花。我理解的大數(shù)據(jù)，就是這么簡單粗暴，以高一個維度的視角毫不講道理的直搗黃龍。
兩點之間什么最短？在二維空間是直線最短。但到了三維空間，兩點之間距離可以為零（蟲洞），比如把一張紙上的兩點對折后貼起來。
京公網(wǎng)安備 11010502049343號