01
這位先生,您好,您聽過大數據么?
不不不,不是鋸大樹的那個鋸...是很大的數據,特別大,是今年最流行的,人人都在談的先進技術——您只要用了我們的大數據分析方案,保證您的企業盈利得到前所未有的增長。
嗯?怎么用?那別提有多簡單了,您看,不就是很大量的數據嘛,我這里有特別多,可以先撥一點給您用用。
有多大的量?嗯,您看,太多了您也用不著——這樣,我這里一口氣給您兩千條,您也是個爽快人,就一口價,五百,都在這個U盤里了。
誒?什么?這個U盤就值10塊錢?不不不,這里可是有價值連城的數據, 現在這個數據驅動的時代,數據就是財產,就是金錢啊 !
這樣,我盼著您以后還要和我們多合作來著,就二百五,給您打個對折,您覺得好我們可以繼續合作……
什么?你說我才是二百五?
欸欸!我們談生意你怎么動起手來了?別打人啊你?
……
02
據說是著名的產品經理圣經《Don't make me think》(別讓我思考)里有這樣一個有意思的場景:
“一次宗教辯論”
產品經理,技術經理和市場銷售在一起為了一個產品的功能開會。對于功能A,產品經理覺得很有必要做,他想問問技術和銷售的看法。
技術方面認為功能A的開發難度與回報率不成正比,因此強烈反對此功能。銷售方面卻認為功能A的反響也許會不錯,至少比現存的功能B要受到客戶歡迎,卻也沒有辦法拿出切實的證據,比如到底有多少用戶希望有這樣一個新功能。
由于技術是開發的主要實現者,無法說服技術,于是關于這個功能的談判不歡而散,這又是一次“無效的會議”。
試想一下兩種不同的說法:
1.因為在街上許多人都對我很友善,因此我認為大多數人都喜歡我。
2.根據在街上隨機抽樣10000人的結果顯示,里面的8000個人表達了對我的喜歡,因此我認為大多數人都喜歡我。
哪一個更有說服力呢?拋開隨機抽樣的科學性和偶然性不談,顯然第二個說法更有說服力, 因為比起第一個“感覺上”的說法,至少它提供了一定的“證據”。
再想想最開始書中的那個例子,如果銷售能夠提供有力的數據證據證明這個功能受歡迎,或者技術能夠證明開發這個功能得不償失,這個會議就很容易達成有效的結果。
數據思維,也可以說是量化思維,它的核心在于“以數據為證據”。數據思維,實際上就是把數據作為事實的一種,作為思維決策的依據。
所以什么是數據時代思維的核心呢?
現在對于各種機器學習和人工智能鋪天蓋地的宣傳,有可能會給人一個錯誤的印象:制造一個機器或程序,集成一堆牛逼的算法,給它一堆大數據,它就能回答你與這些數據有關的有的沒的的問題。
就好像是存在一個萬能的黑箱,你輸入一堆關于自己的生辰八字,住址戶籍,身高體重等等信息,然后你問它:
“萬能的數據之神呀,你覺得我怎樣才能讓我走上人生巔峰,讓思聰都要叫我爸爸呢?”
醒醒吧孩子,你需要被這個世界溫柔以待...
03
回想我們之前說的,數據是一種“事實”或者“證據”。 有一些“事實”和“證據”很直接,不需要復雜的判斷你就能給出結果:
湯姆與杰瑞
比如作為一只老鼠,它知道奶酪好,貓壞,如果有奶酪出現就可以吃,有貓出現就要跑。這里”奶酪出現”和“貓出現”都是事實,根據這個事實,老鼠就可以進行簡單的判斷。
有些時候,數據的片段能夠作為“事實”,很輕易構成完整的邏輯鏈:
比如聊天系統顯示,你一直和一個女生溝通很頻繁,每天有超過200條聊天數據,最近這個數據突然上升到300;你的搜索記錄顯示你頻繁搜索“第一次見面“這個關鍵詞;淘寶的交易記錄還顯示你買了一些安全類產品,就在后天寄到。
綜上所述,我能90%地肯定,你最近要和一個曖昧已久的妹子見面了。
你懂的
怎么樣?要是你把這些事情和我說一遍,我也八九不離十能猜到你最近要和一個曖昧已久的妹子見面。然而在這個例子里,你并沒有告訴我你要做這些事兒, 只是你的行為被轉化成了數據,成為了我做推斷的事實 。
知道為什么你的網頁左右兩邊時常出現你想要買的東西的廣告了嗎?如這個例子一樣,你平時在網頁上點點點,搜索引擎框里搜搜搜的這些行為,都被轉化成了數據,從而出賣了你的想法。
有一個著名的案例叫“Target超市比父母更早知道你的女兒懷孕”。這個案例講的是因為女兒在Tareget超市中購買的物品的數據被經過分析,得出了女兒大概在什么時候懷孕,從而提前開始向家里寄廣告。這導致一開始父母都不知道為什么,后來才恍然大悟。
數據時代的一個重大變化就在于: 那些平日里被我們認為沒有意義的舉動或者瞬間,實際上都被事無巨細地轉化成數據,保留成事實,從而用來有效地推斷你的行為。
04
當零零散散的數據被記錄下來,最終構成一個龐大的集合, 比起之前那個脈絡清晰的個人分析,你發現想要從這個集合中獲取有價值的特征信息變難了。
舉個例子,在一個龐大的數據系統中,記錄了每個人的相關身份信息以及信用違約記錄,這個數據系統里有1000萬條數據,雖然還遠遠稱不上“大數據”,然而早已超出了人力能夠觀察承受的范圍。
這個時候,我們就需要利用一些數據分析的技術——你所聽到的統計分析,神經網絡,等等等等,都屬于這樣一個范疇。在此本狗不深究分析的技術細節,但想要高度概括地表達一下:
所有的技術,都是用來輔助你表達對于數據的觀點,如同我們通過觀察現象,從而表達對事實的觀點一樣。
數數,是人類最早掌握的關于統計的,最簡單的技巧,光用這一點,人們就已經開始利用觀察到的數據證明事實。
比如著名的“世界上沒有黑天鵝”的例子:相比于見到黑天鵝的人,見到白天鵝的人實在是太多了,因此人們利用“數數”,將這樣一個數據組成一個集合,作為說服人的依據——我已經遇到了9999個見到白天鵝的人,沒有人見到黑天鵝,因此下一只見到的天鵝也一定是白的。
黑天鵝
一些更復雜的技巧與方法,能體現出“事實之下的事實”,跨越了“數量”這樣給人最直觀感覺的事實。平均數,眾數,期望等——能體現不同標準下最有可能出現的事實;方差,標準差——體現事實的變動程度。
再往下,人們嘗試尋找事實的“分布”,也就是事實出現的一般規律。再深一點,人們開始意識到事情并不是A喜歡B,B喜歡C,那么A喜歡C那么簡單,于是出現了事實之間的線性,非線性關系,從數據進行推斷,表達觀點的過程變得越來越復雜。
但最終說了這么多,我們再回到最開始 —— “數據分析”,是用數據作為事實證據,從而來表達觀點的過程。如同一般講道理,表達觀點的思維一樣,我們永遠需要疑問的兩點是:
1.作為事實的數據值得信賴嗎? (比如黑天鵝的例子,我們觀察到的數據并不是事實的全部,然而事實上人們常常使用錯誤的數據嘗試證明一個看似正確實則錯誤的觀點)
2.表達觀點的過程有道理嗎? (不管是多高級的方法,支持向量機,AlphaGo用的深度學習網絡等等,都是需要有一個符合直覺的解釋,就像是我們利用事實講道理一樣)
為此,人們又研究發明了許多方法來證明這兩點,從而證明整個利用數據推斷的過程都是可以信賴的,最終才能證明得到的結論值得信賴。然而這些都是后話了,有興趣的讀者可以自行搜索交叉驗證,P值,置信區間等等關鍵詞。
只要明白這兩點,你就能逐漸開始明白大數據世界中的謊言與事實,開始漸漸明白數據思維的樂趣。