大數據必會深刻的改變這個世界，這點是毋庸置疑的，但從很多當下的討論來看，大家似乎在大數據的使用邊界上走入了誤區，這篇文章想具體探討下大數據能干什么以及不能干什么上的原則問題。
大數據與預測
人們總是想預測未來，因為這樣經濟收益會非常大，作為結果就經常看到大數據與票房預測的故事，有時準，有時不準。
大數據確實可以用來做預測，但是有能力邊界的，影響這個能力邊界的關鍵因素就是索羅斯經常說的反身性。反身性說的是：參入者的思維與參入的情景之間相互聯系與影響，彼此無法獨立，認知與參入處于永遠的變化過程之中（百度百科）。反身性之所以對預測有影響，是因為它會導致出現不連續的變化。
這在邏輯上很好理解，當一件事物是連續變化的，你比較容易計算出它未來的狀態，比如汽車，我們只要知道他的速度，那就比較容易預測它下一刻的位置。但如果是充滿突變的混沌系統，這種預測就很難實現，汽車本來走的好好的，突然天上掉下一架飛機來，那它當然不會出現在本來預測的那個位置。所以做預測，第一關鍵是這系統是不是一個混沌系統，在充滿偶然的混沌系統里，基于數據的預測是無效的。而反身性正是導致混沌蝴蝶會出現的一個關鍵因素。
當我們去觀察某個系統并采取行動時，系統本身會因為我們的觀察和行動發生改變，這就是反身性。而當每個人都這么做時，那被觀察和操作的系統就會變成混沌系統。金融市場已經充分說明了這點，如果大數據在預測上是沒邊界的，那只要掌握了大數據就應用技巧，那在金融市場上就沒人不會賠錢，但顯然這是不可能的，最多是不同人輸贏的概率不同。
容易預測的與不容易預測的
如果一種現實更多的依賴于某些不易改變的因素，比如一種文化傳統、一種生物特性，那這種現實是容易被預測的；如果一種現實更多的依賴于可被瞬間改變的因素，比如：人們的心情，那這種現實是不容易預測的，甚至是不可預測的。
具體來講，人們生病后會檢索自己的相關癥狀，而傳染病會擴散，因此Google那種監測傳染病暴發區域，以及預測其可能擴散路徑的大數據使用方式是極為有效的。在這里反身性并不起太大作用。
但股票就不行，因為你在預測，別人也在預測，買家和賣家的行動又不一致，這就會使股票市場成為混沌系統。究竟怎么樣才能用大數據預測到國內這波股票的上漲呢？
同傳染病和股票市場相比，電影票房的可預測性則在兩者之間。有必然性在支撐，比如基本上很垃圾的電影很難有好的票房，但偶然性影響也很大，你不好預測那個點戳到了人們的那個神經，它突然就變火了。誰能預測泰囧的10億票房呢？所以我的判斷是在票房預測上，不管大數據怎么發展，它始終會處在時靈時不靈的狀態上，因為這根本不是個技術問題。
總結來看，反身性作用越大的領域越不容易預測，反之則預測的幫助會比較大。
監測與預測
在預測上大數據必須面對自己的邊界問題，但在監測上大數據的威力是無遠弗屆的。
我們這個世界的數據化程度一定是越來越高的，當我們在社交網絡中活動時，其實就是我們個人在不停數據化的過程，我們的偏好、關系、每日活動等正在源源不斷的數據化過程中，如果可穿戴設備、智能家居發展起來，那數據化的東西就會更多。
我在互聯網時代的方法論那系列文章里一直堅持這樣一種觀點，互聯網正在生成一個與現實世界并行的很像黑客帝國的意識空間，而這個意識空間是數據化的。理論上講，在這個空間里不存在信息不透明這回事，空間和時間不再成為阻隔信息流動的障礙。所以不管你喜歡不喜歡，在數字化面前每個人正在變成透明人，也就是說100%可監測。
監測與預測間的橋梁是必然邏輯和直覺，直覺依賴于個人才情天分，這放在一邊不提，主要談下必然邏輯。有必然邏輯在事情就有了發生的可能性，但不一定發生。這點比較不好理解，我們來看個例子：
我們談微信的時候更容易聚焦到張小龍打造產品的功力，往往容易忽視馬化騰張小龍才是打造微信的組合。從公開報道來看，當時騰訊內部是有很多團隊同時在開發移動IM的，而這種投入很可能是基于“移動互聯網才是真的互聯網，騰訊必須在移動互聯網的IM上占有統治地位”的假設，在這種假設下馬化騰又有所謂的灰度理論，所以才有多支團隊同時并進。如果沒有這類頂層設計，我想更多公司更可能是在移動版QQ上做微創新，進一步掉入創新者的窘境。
如果抽象點來分解這個例子，那我們可以這么講，移動互聯網的發展是可以從大數據上感知的，因為只要做足夠的監測，那么就可以從數據上在較早階段感知到這個趨勢。但判斷移動互聯網是真的互聯網，則依賴于當事人的眼光格局，再進一步決定去同時做微信和手機QQ，那則是上述邏輯的一個后果。在決定做微信那個時間點，馬化騰乃至其他大佬也不知道它一定能成，否則大家一定是別的事情都不干，都專心做微信。但微信確實是移動互聯網是真的互聯網這一條必然邏輯的一個衍生品，相當于是預測未來的一個后果。這就是大數據、監測、必然邏輯與預測的關系。
結束語
大數據方興未艾，但在用大數據時最好也考慮下它的能力邊界，否則就可能因為它在某個點上失靈而懷疑大數據本身，這是會得不償失了。隨著數據化程度的提高，反身性的作用可能會越來越大，作為結果，世界會變得越來越像混沌系統。在這樣的趨勢下，相信上文提到的監測與必然邏輯的結合應該會對如何使用大數據有所幫助。
京公網安備 11010502049343號