近些年，大數據已經和云計算一樣，成為時代的話題。大數據是怎么產生的，商業機會在哪？研究機會在哪？這個概念孕育著一個怎樣的未來？
昨天在車庫咖啡參加了一個小型的研討活動，就這些問題進行了一些討論，我結合自己的一些理解做一個總結。
首先，大數據是怎么產生的？
1）物理世界的信息大量數字化產生的
例如劉江老師指出的好大夫網，將醫生的信息，門診的信息等數字化。其實還有很多，比如新浪微博將茶館聊天的行為（弱關系產生信息數字化），朋友聊天的行為數字化（強關系產生信息數字化）。視頻監控探頭將圖像數字化。
2）社交網絡產生的
在雅虎時代，大量的都是讀操作，只有雅虎的編輯做一些寫操作的工作。進入web2.0時代，用戶數大量增加，用戶主動提交了自己的行為。進入了社交時代，移動時代。大量移動終端設備的出現，用戶不僅主動提交自己的行為，還和自己的社交圈進行了實時的互動，因此數據大量的產生出來，并且具有了極其強烈的傳播性。
3）數據都要保存所產生的
一位嘉賓指出，舊金山大橋保留了百年的歷史數據，在時間跨度上產生了價值，很多網站在早期對數據的重視程度不夠，保存數據的代價很大，存儲設備的價格昂貴，但是時代變了，存儲設備便宜了，用戶自己產生的數據得到了重視，數據的價值被重視了。因此越來越多的數據被持續保存
其次，大數據和大規模數據的區別？
big data之前學術界叫very large data,大數據和大規模數據的差距是什么？我認為在英文中large的含義只是體積上的，而big的含義還包含重量上的，價值量上的。因此我認為
1）大數據首先不是數量上的堆砌，而是具有很強的關聯性結構性
比如有一種數據，記錄了世界上每一顆大樹每年長高的程度，這樣的數據不具有價值，因為只是簡單堆砌。
如果數據變成，每一個大樹記錄它的，地點，氣候條件，樹種，樹齡，周邊動植物生態，每年長高的高度，那么這個數據就具有了結構性。具有結構性的數據首先具有極強的研究價值，其次極強的商業價值。
在比如，淘寶的數據，如果只記錄一個交易的買家，賣家，成交物品，價格等信息，那么這個商業價值就很有限。淘寶包含了，買家間的社交關系，購物前后的其他行為，那么這個數據將非常有價值。
因此，只有立體的，結構性強的數據，才能叫大數據，才有價值，否則只能叫大規模數據。
2）大數據的規模一定要大，而且比大規模數據的規模還要大
要做一些預測模型需要很多數據，訓練語料，如果數據不夠大，很多挖掘工作很難做，比如點擊率預測。最直白的例子，如果你能知道一個用戶的長期行蹤數據，上網的行為，讀操作和寫操作。那么幾乎可以對這個人進行非常精準的預測，各種推薦的工作都能做到很精準。
最后，大數據的機會在哪里？對小公司的機會在哪？
圍繞數據的整個產業鏈上，我認為具有以下機會
1）數據的獲得
大量數據的獲得，這個機會基本屬于新浪微博等這類大企業，大量交易數據的獲得，也基本屬于京東，淘寶這類企業。小企業基本沒機會獨立得到這些用戶數據。
2）數據的匯集
例如如果你要能把各大廠商，各大微博，政府各個部門的數據匯集全，這個機會將是極大的。
但，這個工作，做大了需要政府行為，做中檔了，要企業間合作，做小了，也許就是一個聯盟或者一個民間組織，比如中國爬盟。
3）數據的存儲
匯集了數據后，立即遇到的問題就是存儲，這個代價極大，原始數據不能刪除，需要保留。因此提供存儲設備的公司，執行存儲這個角色的公司，都具有巨大的市場機會，但是這也不屬于小公司，或者早期創業者。
4）數據的運算
在存儲了數據以后，怎么把數據分發是個大問題，各種API,各種開放平臺，都是將這些數據發射出去，提供后續的挖掘和分析工作，這個也需要有大資本投入，也不適合小公司。
5）數據的挖掘和分析
數據需要做增值服務，否則數據就沒有價值，big也big不到哪里去，是沒有價值的big.因此這種數據分析和挖掘工作具有巨大的價值，這個機會屬于小公司，小團體。
6）數據的使用和消費
在數據做到了很好的挖掘和分析后，需要把這些結果應用在一個具體的場合上，來獲得回報，做數據挖掘和分析的公司，必須得找到這些金主才行，而這些金主肯定也不是小公司。
大數據未來的形態，或者產業鏈結構一定是分層的，巨大的，價值的體現發生在各個層次，每個層次都是生態鏈的重要一環，都孕育著巨大的機遇和挑戰，我們能做的唯有努力，做適合自己的工作。
京公網安備 11010502049343號