在一次互聯網思維的學習討論會上，大家當然討論了大數據時代和大數據的思維，當然，大數據思維是互聯網思維的特點之一。

“您每天敲擊一次鍵盤，都會成為這個時代的大數據的一部分”。

這是“中國之聲”的廣告詞。

“大數據”因互聯網而成為這個時代的一個顯著特征，并成功的贏取了時代金礦的美譽。數據的價值得到空前的重視，“誰掌握了數據，誰就掌握了未來”。“數據是重要的資產”。“數據只有開放互聯才能成為大數據，才能發掘出價值”。當人們津津樂道大數據是如何成為時代的新寵時，似乎各行各業都離不開大數據了。

而事實上，大數據給我們到底帶來了什么呢?我們究竟在大數據上獲得了哪些利益呢?未來又能獲得什么利益呢?盡管全球的IT精英都在絞盡腦汁的發掘和鼓吹大數據的價值，乃至國家政策也受此影響。但如果對上述問題沒有得到清晰的答案，這樣的影響多少存在邏輯上的盲目。

理智地思考：大數據為何產生?

因為有了計算機，才有數據。數據是計算機的食物和產物。

因為計算機爆發式的增長，導致作為其食物和產物的數據爆發式增長。

計算機的聯網，自然帶來其食物和產物的相互糾連。

計算機為什么要吃進數據和吐出數據?因為數據里面有我們人類需要的信息。

數據的糾連，背后是信息的關聯。

即使在沒有計算機的年代，信息的關聯原本就存在，構成我們人類的信息世界。

那時的信息世界雖然運行緩慢，相互阻隔比較嚴重，但至少是清澈見底，讓我們氣定神閑的。

計算機在信息世界的出現，相當于蒸汽機在工業世界中的出現。

工業革命帶來的是什么?產品生產效率的大幅提高和自然資源的快速消耗及生態環境的劇烈破壞，當然，還有科技的進步。

那么，信息革命帶來的是?信息處理效率和范圍不斷提升和數據的快速膨脹，有誰想到過，和工業革命之對生態環境的劇烈破壞，信息革命對應的影響是什么?如果是破壞，破壞了什么?如果我們想都沒想到過這個破壞確實可能存在，如果實際是存在的，會意味著什么?意味著人類在未覺醒的狀態下，在拼命發展著一種對自己的某個世界可能帶來巨大影響的技術。不像工業革命帶來對自然環境的污染和破壞可以讓人類直接得到相應的懲罰而覺醒。信息革命如果能帶來破壞，則一定是對人類信息世界的生態環境的劇烈破壞。

信息革命可能如何來破壞人類信息世界的生態環境的呢?

在原來人類的信息世界的生態環境中，雖數據量不大，但數據的信息密度大。雖數據復制傳輸慢，但垃圾數據少。自從有了計算機，特別是有了互聯網，數據對信息的吞噬是極其野蠻和不受約束的。數據量是很大，數據的類也很多，關聯的范圍也很廣，但信息的密度卻急劇下降。由于數據的傳輸和復制的速度急速提高，垃圾數據更是野蠻生長不受控制。這便是對大數據的來由的另一種看法。

確實，大數據的產生，給我們帶來了在前所未有的宏觀層次得到數據證實的信息，但是，這些信息，實際和人類憑直覺得到的信息也無太多的差別。相反，龐大的數據支撐下的“數據說話”的思維，讓人類越來越喪失了宏觀的直覺和思考的能力。

所以，大數據時代，實際是個什么時代?對這點的清醒認知，對把控人類技術發展的下一個時代確實非常重要。倘若迷糊，下一個時代是“大失控”時代，就不僅僅是科技作品中的預言了。

倘若我們清醒過來，認識到大數據的危害，我們則可能利用大數據帶來的技術升級，反過來治理大數據的危害，正象我們在后工業革命時期所做的那樣，環保和生態事業在新的技術支撐下，得以發展。

倘若我們做到了后者，那么，大數據時代的下一個時代，必然是個“大整合”的時代。

如今，我們已經進入移動互聯網時代，大數據撲面而來。對于京東來說，大數據到底都能夠起到哪些作用?5月26日，老冀在貴陽大數據博覽會上見到了京東大數據部副總經理邢志峰，也就是京東研發部門內部俗稱的“邢捕頭”，向他請教了一下京東大數據的一些問題。

邢捕頭算是京東大數據的資深員工了，他在2009年就加入了京東，一直在京東數據部門。當時《武林外傳》挺火的，同事們看他做事認真，于是給他起了個電視劇里面角色的外號。

　　(圖：京東大數據部副總經理邢志峰)

分分合合的大數據路線

京東大數據說來話長，實際上，它經歷了一個分分合合的過程。

2009年7月的時候，邢捕頭的心情可沒有現在輕松。那個時候，快速增長的業務帶來了海量的數據需求，業務部門扔過來大量的數據，幾乎天天到他那里來“討賬”。于是京東數據部在2009年底正式成立。

到了2010年下半年，數據部依照服務職能對象的不同拆分為兩個團隊，其中一個主要面向采銷、市場等部門，另一個數據團隊則為倉儲、物流等部門提供服務。

巧合的是，這兩支團隊也選擇了不同的技術路線。一個選擇了基于開源的MySQL自建數據倉庫，自主開發配套的數據調度生產、數據分析提取、數據知識管理、數據報表呈現及數據質量監控的產品體系，并建設相應的數據集市與業務部門聯合推廣使用。

另一個數據團隊選擇了購買ORACLE RAC小型機/ORACLE BIEE商業智能平臺，數據處理效率也得到了明顯提高。

但是隨著京東業務的不斷擴張和高速增長，商業軟件的局限性就日益顯露出來了，主要表現在兩個方面：

一個是維護成本高，商業軟件此后的每一次升級都要請原廠的專家上門，這個服務費可是相當的高。

另一個更重要的則是快速響應能力。電商行業變化非常快，幾乎每天業務部門都要做一些策略調整，比如增加某些品類，砍掉另一些品類，而商業軟件都是模塊化的，并沒有那么強的靈活性，響應速度根本跟不上業務的發展。實際上，我們看到一些使用了商業軟件的電商在這個方面吃虧不小。

到了2012年年初，為了更好地應對業務的快速增長，京東數據部又合在了一起，并且確定了基于Hadoop的分布式開源技術架構，原來的SQL Server和ORACLE數據倉庫均退出了歷史舞臺。在Hadoop的基礎上，京東開發出了JDW企業級數據倉庫，目前集群的總存儲量已經達到了 50PB以上，是名副其實的大數據。

　　更加真實有效的大數據

在貴陽大數據博覽會上，出任京東集團高級副總裁及京東研發體系負責人的張晨表示：“京東全品類、全價值鏈的電商數據在行業內具有稀缺性，它使得京東大數據在數據、模型、技術、工具等多個層面高度的整合和統一，大大提升了大數據在整個集團內融合和利用的效率，促進大數據的深度價值挖掘。”

簡單來講，京東大數據的優勢得益于京東電商業務的全價值鏈數據。由于京東的主要業務是自營式電商，而且要求端到端的流程控制，使得京東的大數據覆蓋了電商的全部流程，從采購、庫房、銷售、配送到售后、客服，整個鏈條是完整的。

“數據不僅僅大才有價值，如果不完整或者只是局限于某個點的話，價值就小了。京東的數據很完整，量又很大，這個數據就很值錢。”邢捕頭認為。

而且由于京東對商品交易過程實行嚴格的管控，在京東平臺上進行代購和刷單的行為都是不允許的，這也使得京東的用戶數據更加接近真實用戶的真實需求。

有了真實有效的大數據，京東就可以做很多的事情，比如精準營銷、用戶畫像、C2B定制，等等。

以老冀為例，比如老冀想在京東上買本《從零到一》，結果正好這本書脫銷，老冀于是點擊了一下“到貨提醒”。過了幾天，老冀收到一封郵件，告訴老冀這本書已經到貨了，并且還推薦了《奇點臨近》、《創業者的思考》，老冀發現這兩本也是自己想要的書，于是照單全收。

不過，老冀感覺京東每次登陸的主頁面還是非常龐雜，似乎不如美國亞馬遜那么簡潔、個性化和有針對性。邢捕頭坦誠，目前京東在A/B 測試方面還不如亞馬遜成熟。所謂A/B 測試，就是先建立一個測試頁面，這個頁面在呈現邏輯和內容上與原有頁面有所不同，然后將這兩個頁面以隨機的方式同時推送給所有瀏覽用戶，接下來分別統計兩個頁面的用戶轉化率，即可了解到兩種策略的優劣。還有一個也是跟中國網民的購物習慣相關：大部分美國網民購物非常直接，而中國網民則喜歡那種“逛”的感覺。

大數據還有個很大的作用，就是用戶畫像。前面老冀談到京東有個很獨特的優勢，就是數據更加真實可靠。而且經過了十多年的發展，京東的商品品類也已經非常豐富，目前已經有接近1億SKU。很多商品本身就會有用戶特征，比如女士的胸罩和內衣，男士的刮胡刀，等等。京東根據這些購買行為給用戶打上標簽，直至勾畫出一幅清晰的用戶畫像。

有了用戶畫像，京東就可以做很多事情了。舉個例子，根據用戶在下單前的瀏覽情況，京東就可以了解用戶的購物性格是沖動型、理性型還是猶豫型。對于沖動型用戶，京東直接推薦給Ta最暢銷的同類商品，而理性型用戶則推薦給Ta口碑最好的商品。

京東還將用戶畫像數據提供給網站智能機器人JIMI，使得JIMI能夠快速理解用戶意圖、從而對用戶進行個性化關懷，從而大幅度提升用戶的滿意度。

而隨著2014年京東收購了騰訊的實物電商部門，并將其數據整合進來，京東大數據的準確性又得到了提升。此外，京東的大數據還能夠與騰訊的QQ/微信大數據結合起來，從而開展更有針對性的營銷活動。從過去一段時間雙方的聯合推廣來看，大數據功不可沒。

幫助業務部門決策

其實，大數據還能夠做更多的事情。對于邢捕頭所在的部門來說，最重要的還是幫助業務部門更好地決策。

比如目前市面上有那么多款手機，京東手機采銷部門到底應該采購哪一款手機?就可以根據京東大數據參考決策。如今，京東更深入了一步，在2013年推出了JDPhone計劃，與手機廠商一起打造用戶喜歡的手機。

舉個例子：京東大數據顯示，近半年來在京東購買過兩次以上手機的用戶，其中34%都選擇了更大屏幕，但是5.5寸是他們接受的極限，因此建議手機廠商選擇4.8-5.5寸屏幕作為最優尺寸。最近這幾年，正是基于大數據的威力，JDPhone計劃先后與中興、華為等手機制造企業合作，推出了目前市場上很多暢銷的機型

“我們的數據能夠幫助業務人員做決策和判斷，能夠利用很多統計方式展現報表，以更加形象、實時和統一的方式提供給他們，通過業務應用服務于我們的消費者。”邢捕頭對于自己的工作感到非常自豪。

2011年11月，京東準備對快遞包裹收費。那么，當用戶的訂單金額到了多少才能夠不收費呢?為此，京東大數據部門模擬了一個場景，分別按照用戶訂單免運費下限為19元、29元到89元之后，對京東的整體毛利情況做了一個詳細的測算，然后找到了比較合理的價格區間，將報告提交給了公司高層，對于配送費的合理制定起到了很好的輔助決策作用。

如今，對于京東高達上億的SKU，單是補貨就是個大問題，如果只是依靠人工補貨根本就忙不過來。京東供應鏈研發團隊自主開發了一套補貨系統，項目上線之后，給圖書部門的采購補貨工作帶來了極大的便利。面對超過百萬而且不斷增長的SKU，圖書業務部門的采購人員并沒有顯著增加

此外，京東還將自己的大數據拿出來，與復旦大學聯合推出了復旦-京東信息消費指數，包括消費者行為與信心指數、電子商務行業景氣度指數、電子商務便利度指數三大子指數，共同構成了一個完善的指標體系，綜合反映了當前信息經濟消費情況，能夠為政府政策、行業發展、消費者行為模式等提供重要的參考價值。這也是目前我國首個用于評估電子商務、“互聯網+”等信息要素集聚程度以及績效表現的綜合性指數。

當有太多數據需要處理的時候，你可能會為此抓狂，而舊金山警局卻對此求之不得。原來，沒有更多的可利用數據才是巨大的挑戰。

怎么才能從多結構和非結構化的數據源中提取并整合數據?對一些機構來說，這是一個艱巨的挑戰;對另一些人卻剛好相反，他們正經歷著巧婦難為無米之炊的困境。從他們的角度來看，沒有更多的可利用數據才是巨大的挑戰。這不禁讓人聯想起在東部的波士頓白雪皚皚，寸步難行的時候，西部的舊金山卻是旱情綿綿。

這個再恰當不過的比喻，是受到了一次談話的啟發。舊金山郡警督Ross Mirkarimi和他們IT組成員Dave　Hardy跟我聊起他們現在怎么處理相關數據。在舊金山警局，現在處于一個吃力不討好的境地，他們試圖將大量的結構化數據匯集在一起。這可不是一件輕而易舉的事情：Hardy使用Microstrategy的商務智能工具嘗試著從多種結構化數據庫中收集數據。這些工具包括FoxPro, Access, Filemaker Pro等。

既然舊金山警局有大量的結構化數據需要處理，那么所謂的數據旱情又是怎么來得?他們沒有非結構化的數據。他們希望自己能像其它公司一樣，擁有需要整合的非結構數據。 “我喜歡科技”，Hardy說。他曾是一名巡邏警員，目前已成為信息技術支持與服務部的指揮官。他還說：“這是一件好事，創新和自動化讓一線同事的工作更容易。我喜歡利用數據做一些重要的舉措。”

但 Mirkarimi，這位前舊金山城市監察員，卻哀嘆可供執法使用的數據就跟加州的雨一樣少得可憐。“執法需要更多警力來應對犯罪威脅” ，他說，在現實中，我們希望對犯人的問責是由數據決定的。與其讓一個活生生的人像接力棒一樣在警察、公設辯護人辦公室(美政府對無錢聘請律師的被告指聘的律師)、緩刑與假釋部門間傳遞，我們不如放棄成見，共享數據。這樣，使我們在判斷個人是否守法時，能夠更清晰的了解他的傾向性，個人歷史并預測他的個人行為。

州政府計劃削減已超載的州監獄人數，并將犯人送返至各個郡下設的監獄。因此，舊金山警局被要求做一項他們從來沒做過的分析項目(舊金山是一個罕見的行政實體，在編制上，它即是一個市又是一個郡)。即使沒有結構化數據，Mirkarimi 依然聲稱，累犯人數已經從60%以上下降到差不多40%，然而州政府的標準是接近78%。

舊金山警局還想做更多，但是它無能為力。必須得承認，手頭只有結構化數據確實是其中的問題之一。Hardy說，能整合的只有“小數據”，這些小數據是人們在通過系統時生成的，像是地址、量刑、指紋;他們在監獄里參與了哪種治療或是教育項目;他們是否再次因罪獲捕，如果是，那又是為什么?所有的這一切都在一個SQL結構化數據庫里。可是為了能夠達到目的，Hardy和Mirkarimi需要更多。

舊金山警局罪案調查處署已經開始追蹤社交網絡，及時識別“熱點事件”，但是在追蹤和分析整合數據之間，還有很大的距離(Microstrategy有分析社交網絡的工具，但是舊金山警局沒有用)。 Hardy設想，建立一個網絡來聯系所有的政府部門，從警長辦公室到健康衛生部門甚至延伸到學校社區。“我的設想是，在不侵犯隱私的情況下，我們能夠進入這些部門的數據庫收集所需數據，并與我們現有的數據相比較。想想看，我們是否可以識別某個學校或是某個居住區的某個群體是否有更大的可能性在他們22歲之前被逮捕? ”Hardy還想進入聯邦數據庫去看看囚犯是否是退伍軍人，是否有資格享受美國政府的一些特設項目。

為了能采取積極措施，Mirkarimi特別注重分析監禁過程對囚犯子女的影響。“最終，當你可以將這些完全不同的數據源結合起來，它能幫助我們了解那些坐在拘押室里的人。” 他的目標很明確：真正改變舊金山，為過度擁擠的監獄減負，通過了解對家庭的影響，“為犯人的家庭與子女帶來更積極的幫助”。他同意收集和分析如此之多的數據，有點像奧威爾的小說《1984》中所描寫的監視社會。盡管如此，就目前的情況來看，這種方法是有實際意義的。我們將不得不摸著石頭過河。

“刑事司法機構也很難人性化與系統內部監禁人員的關系”，Mirkarimi說。“數據越周詳，我們越能人性化的調整監禁對當事人以及他們的家人的影響。我寧愿站著數人頭，也不愿坐著做統計。這就是我們如何能使這套系統更有效。”

固然，這是個大挑戰。讓這個挑戰變得更為艱巨的，是目前舊金山警局還無法獲得他們所需要得到有效數據。請記住!當有太多數據需要處理的時候，你可能會為此抓狂，而舊金山警局卻對此求之不得。