最初，人們以為大數據只是谷歌、百度、阿里等個別公司的一項新的技術;后來，大數據發展成為一個快速增長的新興產業;再后來，隨著美國政府大數據發展戰略的正式發布，以及G8政府紛紛實施數據開放戰略，大數據正式上升為國家戰略。但我們判斷，大數據帶來的變革意義還不止于此，對企業而言，大數據將掀起一場管理革命;對國家而言，大數據意味著國家治理體系的重構、變革與升級。本文作為引用最高的論文之一，清晰地表達了大數據在管理方面的重要含義。(許元榮/第一財經研究院)
管理大師戴明(W.Edwards Deming)與德魯克(Peter Drucker)在諸多思想上都持對立觀點，但“不會量化就無法管理”的理念卻是兩人智慧的共識。這一共識足以解釋近年來的數字大爆炸為何無比重要。簡而言之，有了大數據，管理者可以將一切量化，從而對公司業務盡在掌握，進而提升決策質量和業績表現。
看看零售業吧。實體店的書商們也能追蹤圖書銷路，哪些賣掉了哪些還沒有。如果他們設計了“客戶忠誠計劃”，還能將某些圖書的銷售與消費者個人聯系起來。但僅此而已。而一旦購物行為移至線上，店主們對顧客的了解會相當驚人：賣家不僅能追蹤顧客買了什么產品，還知道他們查看了其他哪些產品，他們如何瀏覽網站，他們在多大程度上被促銷活動、其他買家對產品的評論與頁面布局所影響;賣家還可以交叉對比個體消費者之間與群體消費者之間的相似性等等。在此之前，賣家已經開發了一套運算方法，推測哪些書目是哪些用戶樂意閱讀的—每當用戶忽略一個圖書推薦，這種算法就會更優化一步。傳統零售商是沒法輕而易舉獲得這些信息的，他們的銷售行為既孤立又盲目。所以，亞馬遜把那么多實體店踢出局一點也不意外。
關于亞馬遜那些耳熟能詳的故事遮蔽了它的真正實力—這些先天帶有數字基因的公司所能做到的事，是上一代商業領袖夢寐以求的。但實際上，大數據的潛力也可以幫助傳統企業實現轉型，甚至幫它們獲得更好的機會提升其競爭優勢(線上企業一直都知道其核心競爭力來自于對數據的理解力)。我們隨后的討論會有更多細節證明，這場大數據的革命遠比之前的“數據分析”要強大得多。企業因此可以做精準地量化和管理，可以做更可靠的預測和更明智的決策，可以在行動時更有目標更有效率;而且這些都可以在一直以來由直覺而不是數據和理性主宰的領域實現。
隨著大數據之工具與理念的不斷傳播，許多深入人心的觀點將被撼動，比如經驗的價值、專業性與管理實踐。各個行業的商業領袖都會看清運用大數據究竟意味著什么：一場管理革命。
但是，伴隨商業世界其他一些深刻的變革，公司向“大數據驅動”轉型必將遭遇巨大的挑戰，它需要公司領導層擁有一手的數字化能力(或者，在其他一些情況下，需要的可能是會放手的領導)。
有什么新鮮的?
企業高管們有時會問：“‘大數據’不就是‘數據分析’的另一種說法嗎?”
二者確實相關：和之前的“數據分析”一樣，大數據運動也力圖從數據中收集智慧，并將其轉化為企業的優勢。但二者有三個顯著差別：
規模性：僅就2012年而論，每天大約產生2.5艾字節(exabytes)的數據，而且這個數據量每40個月就翻一倍。現在互聯網每秒鐘產生的數據量，比20年前整個互聯網儲存的數據還要多。企業因此需要處理單個數據集就包含大量拍字節(petabytes)的信息，而且這些信息還不僅來自互聯網。比如，沃爾瑪每小時從其顧客交易中獲得的數據量超過2.5拍字節—1個拍字節就是1000的5次方的字節，等同于2000萬個文件柜所包含的文檔信息。1個艾字節是這個量級的1000倍，也就是10億的吉字節(一個吉字節等于千兆字節，即1GB=1000MB)。
高速性：對于很多應用程序來說，數據生成的速度比數據規模更重要。實時或者近乎實時的信息，能讓一家公司比競爭對手更為靈活敏銳。舉個例子，我的同事—麻省理工學院媒體實驗室的阿萊士?朋特蘭德(Alex “Sandy”Pentland)和他的團隊曾經使用來自手機的位置數據推測，“黑色星期五”那一天有多少人在梅西百貨公司(Macy's)的停車場停車。“黑色星期五”是美國圣誕節購物季的開始，阿萊士團隊使用的數據讓他們提前推算出這關鍵一天的銷售量—遠早于梅西百貨自己統計出的銷售記錄。無論是華爾街的分析師或者傳統產業的高管，都會因這種敏銳的洞察力獲得極大的競爭優勢。
多樣性：大數據形式多樣，社交網站上發布的信息、更新、圖片;傳感器上顯示的內容;手機上的GPS信號等等。大數據幾種最主要的來源大都是全新的，比如來自社交媒體的海量信息，都跟那些社交網站本身一樣新：Facebook上線于2004年，Twitter于2006年。同樣的例子是智能手機和其他移動設備，它們提供了基于人、活動與地點的海量數據流。由于這些手機裝置如今無處不在，人們幾乎想不起iPhone發布才五年時間，iPad不過兩年。然而，公司數據庫雖然存儲著海量信息，卻直到最近還難以加工處理大數據。與此同時，用來計算數據的所有相關設備—存儲器、內存、處理器、寬帶等等的成本在持續降低，這意味著，從前昂貴的數據密集型處理手段正迅速地變得經濟實惠。
越來越多的商業行為正在數字化，加之全新的信息源與更便宜的設備，我們將被這一切帶入一個新紀元：一個海量數據在商業世界無孔不入的時代。手機、網上購物、社交網絡、電子通訊設備、衛星定位系統，以及在這些設備上做最普通的操作時附帶生成的井噴般的數據量。我們每個人都是一個隨時隨地的數字生成器。這些閑置的數據大都是非結構化的，沒有被整理過—胡亂丟棄在數據庫中無法使用。但是，在這些雜亂無章的混亂中埋藏著大量的信號，孤單地等待被解讀。曾經的“數據分析”將嚴謹的技術引入了決策制定，而“大數據”讓這種嚴謹決策變得更加簡單而強大。正如谷歌研究主管彼得?諾爾維格(Peter Norvig)所說的那樣：“我們并沒有更好的算法，我們只是有更多的數據。”
數據決定業績
懷疑論者的第二個疑問是：“有何證據顯示，明智地運用大數據能提升公司業績?”商業媒體上充斥著各種軼事案例，似乎在證明大數據驅動帶來的價值。但我們最近發現的事實是，根本沒人真正拿出嚴謹有力的證據。為了彌合這種尷尬的缺失，我們在麻省理工學院的數字商業中心(MIT Center for Digital Business)組織了一個團隊，與麥肯錫的商業技術部、沃頓商學院的同事洛林?希特(Lorin Hitt)以及麻省理工學院的博士生西克揚?金(Heekyung Kim)一起合作，考察大數據驅動的公司是否業績更佳。我們對北美330家上市公司的高管進行了結構性訪談(structured interview，這是一種對訪談過程高度控制的訪問。訪問的過程高度標準化，即對所有被訪者提出的問題，提問的次序和方式，以及對被訪者回答的記錄方式等是完全統一的。—譯者注)，調研其組織與技術管理實踐，然后從年報和其他一些獨立信息源那里收集它們的業績數據。
很顯然，不是每家公司都喜歡數據驅動型的決策制定過程。事實上，我們發現，各行各業對大數據的態度和應用方法五花八門。但是，透過所有的分析，我們發現一種顯著的關聯性：越是那些自定義為數據驅動型的公司，越會客觀地衡量公司的財務與運營結果。尤其是，運用大數據做決策的那些行業前三名企業，比其競爭對手在產能上高5%，利潤上高6%。如果把勞動力、資金、購買服務和投資傳統技術的投入都納入計算，這些企業的表現依然卓越。它不僅有統計學上的顯著性和經濟上的重要性，而且也反映在其股票估價的增值上。
那么，高管們是如何運用大數據的呢?讓我們深入硅谷的兩家新貴企業去一探究竟吧：一家用大數據開創了新業務;另一家用大數據促進了銷售。
航班更準
航空業分秒必爭。尤其是航班抵達的準確時間：如果一班飛機提前到達，地勤人員還沒準備好，乘客和乘務員就會被困在飛機上白白耽擱時間;如果一班飛機延誤，地勤人員就只能坐著干等，白白消耗成本。當美國一家大航空公司從其內部報告中發現，大約10%的航班的實際到達時間與預計到達時間相差10分鐘以上，30%的航班相差5分鐘以上的時候，這家公司決定采取措施了。
其時，這家公司依照航空業的慣例—由飛行員提供航班的預計抵達時間(即ETAs)。飛行員總是在臨近機場的那段時間內預測何時到港，而這個過程中還有其他很多事情占用他們的時間和注意力，干擾其判斷。為了尋求更好的解決方案，這家航空公司找到了PASSUR Aerospace，這是一家專為航空業提供決策支持的技術公司，它從2001年開始提供一項名為RightETA的服務(意為：準確預測航班時間)，通過搜集天氣、航班日程表等公開數據，結合自己獨立收集的其他影響航班因素的非公開數據—比如通過自建的無源雷達站收集某區域領空內的飛機數據—綜合預測航班到港時間。
PASSUR公司最初只有幾處無源雷達接收站，但是時至2012年，它們已經擁有超過155處這樣的接收站。每4.6秒它就收集一次雷達眼看到的每架飛機的一系列信息，這會持續地帶來海量數據。不僅如此，公司將長期以來收集的數據都保存著，這樣它就擁有了一個超過十年的巨大的多維信息載體，為透徹的分析和恰當的數據模型提供了可能。RightETA的核心工作就是回答兩個問題：“一架飛機在抵達機場之前都發生了什么?它究竟幾點著陸的?”
使用RightETA服務后，這家航空公司大大縮短了預測和實際抵達之間的時間差。PASSUR公司相信，航空公司依據它們提供的航班到達時間做計劃，能為每個機場每年節省數百萬美元。這是一個相當簡單的公式：大數據帶來更準的預測，更準的預測帶來更佳的決策。
推銷更快、更個性
幾年以前，美國零售業巨頭之一—西爾斯控股公司(Sears Holdings)決定收集其專售的三個品牌—Sears、Craftsman、Lands’ End的顧客、產品以及銷售數據，從這些海量信息中挖掘價值。顯而易見，如果能集合并運用這些數據定制推銷方案給消費者，并將地區差別加以利用的話，將給公司帶來巨大價值。價值巨大，困難也巨大：西爾斯公司需要八周時間才能制定出個性化的銷售方案，但往往做出來的時候，它已不再是最佳方案了。之所以如此，主要在于這些數據需要超大規模的分析，它們分散在不同品牌的數據庫與數據倉庫中，不僅數量龐大而且支離破碎。
西爾斯集團開始使用群集(cluster)收集來自不同品牌的數據，并在群集上直接分析數據，而不是像以前那樣先存入數據倉庫，避免了浪費時間先把來自各處的數據合并之后再做分析。這種調整讓公司的推銷方案更快、更精準。
據西爾斯公司的首席技術官菲里?謝利(Phil Shelley)說，他們制定一系列復雜推銷方案的時間從8周縮短到1周，甚至還會更短。而且這些銷售方案質量更高，因為它們更及時、更細致、更個性化。西爾斯使用的Hadoop群集能收集和處理好幾個拍字節的數據，成本卻只是普通數據庫的一小部分。
謝利說，他驚訝于公司能如此輕松地實現這個轉型—從傳統方式升級為數字管理與高效分析。西爾斯在2010年開始這一轉型的時候，數據管理的技術與知識還很少，因此與一家叫做Cloudera的公司簽訂了合同。但是很快，公司IT部的保守派和分析專家們就對新工具和新流程得心應手了。
PASSUR公司和西爾斯控股的例子展示了大數據的威力—它帶來更準確的預測、更高明的決策、更恰當的操作，而且讓這些事情達到一個無邊的規模。當大數據應用于供應鏈管理的時候，它讓我們了解為什么一家汽車制造商的故障率突然飆升;在客服方面，它可以持續詳細調查和處理幾百萬人的醫保狀況;它還可以基于產品特性的數據集，為在線銷售作出更好的預測和規劃，等等。大數據在其他行業的應用也同樣成效顯著，無論金融業、旅游博彩業還是機械維修;在市場推廣、人力資源管理方面也有極大的功用。
我們的數據分析顯示，上述所見絕不是星星點點的個案，而是一次根本性的經濟轉型。我們確信，大數據運用帶來的這一轉型已經觸及了商業活動的方方面面，沒有誰能置身其外。
決策文化變革
大數據的技術挑戰顯而易見。但其帶來的管理挑戰更為艱巨—這要從高管團隊的角色轉變開始。
高價智囊請閉嘴大數據最至關重要的方面，就是它會直接影響企業怎樣做決策、誰來做決策。在信息有限、獲取成本高昂、且沒有被數字化的時代，讓身居高位的人做決策是情有可原的。因為他們擁有多年累積的經驗，并將觀察到的商業模式和組織內部關系內化到了自己的思維與行為中。我們可以給這種決策者和決策過程貼個標簽：直覺主義。這些人描繪的未來藍圖—會發生什么事情、事情該怎樣解決、因此該如何做規劃等—全部基于他們的個人觀點。(請參見本期文章《你的成功可以測量》。)
尤其那些做重大決策的人，都是組織內典型的位高權重的人，要不然就是高價請來的擁有專業技能和顯赫履歷的外部智囊。大數據領域的人認為很多公司仍然維持著這種方式—依賴“HiPPO”做決策。所謂HiPPO，就是那些高薪人士的觀點(the highest-paid person's opinion)。
的確有一些資深高管忠實于數據，一旦數據否定了他們的直覺，他們會拋棄個人觀點。但是我們相信，在今天的整個商業世界中，人們仍然更多依賴個人經驗和直覺做決策，而不是基于數據。我們在研究中設計了一個“五點復合標尺”，用來測量一家企業究竟在多大程度上是數據驅動型的。32%的回應者認為他們的公司只具備其中的一兩點或兩三點。
讓數據做主有志于引領企業實現大數據轉型的高管們，可以從兩個最簡單的技巧開始。首先，要養成習慣問：“數據怎么說?”每當遇到重大決策的時候，要緊跟著這個問題進一步問：“這些數據從哪兒來的?”“這些數據能得出什么分析?”“我們對結果有多大信心?”(員工能從高管的這種行為中迅速接收到信息。)其次，他們要允許數據做主;當員工看到一位資深高管聽任數據推翻了他的直覺判斷—這將是改變一家公司決策文化的最大力量。
在確認哪些問題需要解決的階段，毫無疑問，專業技能仍然至關重要。傳統領域的專家，因為對所在行業的深刻理解，可以清楚地識別機遇與挑戰。比如PASSUR公司一直極力從全美主要的航空公司挖人，越多越好。因為擁有豐富的航空業運營知識，在PASSUR尋找下一個市場機會的時候，這些人的價值不可估量。
隨著大數據運動的推進，這些傳統領域的專家也會轉變角色。他們的價值不在于提供類似那些高薪人士的“直覺主義”的答案，而在于他們善于發現真問題。“電腦有什么用呢?它們只知道給答案。”當天才畫家畢加索這么說的時候，他一定很懷念那些傳統領域的專家。
五大管理挑戰
大數據轉型并不是萬能的，除非企業能成功應對轉型過程中的管理挑戰。以下五個方面在這一過程中尤為重要。
領導力那些在大數據時代獲得成功的企業，并不是簡單地擁有更多或者更好的數據，而是因為他們的領導層懂得設計清晰的目標，知道自己定義的成功究竟是什么，并且找對了問題。大數據的力量并不會抹殺對遠見與人性化洞察的需求。相反，我們仍然需要這種領導者—他們能抓住某個絕好的機會、懂得如何開拓市場、用自己的創意提供那些相當新奇的產品和服務，并且巧舌如簧地勾勒出一幅激動人心的前景，說服下屬們激情澎湃地為此拼命工作，最終成功贏得顧客。未來十年獲得成功的企業，其領導者必然具備以上特質，與此同時推進了公司決策機制的轉型。
人才隨著數據越來越廉價，實現大數據應用的相關技術和人才也變得越來越昂貴。其中最緊迫的就是對數據科學家和相關專業人士的需求，因為需要他們處理海量的信息。統計學很重要，但是傳統的統計學課程幾乎不傳授如何運用大數據的技能。尤其需要的能力是將海量數據集清理并系統化，因為各種類型的數據很少是以規整的形態出現的。視覺化工具和技術的價值也將因此突顯。隨著數據科學家的涌現，新一代的電腦工程師必須能夠處理海量數據集。而設計數據試驗的技能，則會非常有助于彌補數據呈現的復雜關系與因果之間的鴻溝。除此之外，那些最優秀的數據科學家還需要掌握商業語言，幫助高管把公司面臨的挑戰變為大數據可以解決的形式。毫無疑問，這類人才炙手可熱，很難找到。
技術處理海量、高速率、多樣化的大數據工具，近年來獲得了長足的改進。整體而言，這些技術已經不再貴得離譜，而且大部分軟件都是開源的。Hadoop，這個目前最通用的平臺，就整合了實體硬件和開源軟件。它接收涌入的數據流并將其分配至很便宜的存儲盤，同時它也提供分析數據的工具。盡管如此，這些技術需要的一整套技能對大部分企業的IT部門來說都是全新的，他們需要努力將公司內外所有相關的數據都整合起來。只有技術遠遠不夠，但技術是整個大數據戰略中不可或缺的部分。
決策一家高效的公司通常把信息和相關的決策權統一在一起。而在大數據時代，信息的產生與流通，以及所需人才都不再是以往那樣了。精明的領導者會創造一種更靈活的組織形式，盡量避免“自主研發綜合癥”，同時強化跨部門合作：收集信息的人要提供正確的數據給分析數據和理解問題的人，同時，他們要和掌握相關技術、能夠有效解決問題的人并肩工作。
文化大數據驅動的公司要問自己的第一個問題，不是“我們怎么想?”而應該是“我們知道什么?”這要求企業不能再跟著感覺走。很多企業還必須改掉一個壞習慣：名不副實的大數據驅動。我們發現很多這樣的企業，最常見的表現是，高管們明明還是按傳統方式做決定—以HiPPO，那些高薪人士的意見為主，卻拿出一份香艷的數據報告支撐自己的決定是多么英明。其實那不過是分配下屬四處尋找的專為這個決定做辯護的一堆數字。
毫無疑問，成功的路上荊棘密布。數據科學家不夠多;技術不只新，甚至新奇;把各種關聯當作因果關系，由數據得到誤導性的模式;文化轉型的挑戰更是艱巨，比如，對隱私的關切已經越來越突出。但是，大數據在技術和商業領域的卓越表現勢不可擋。
證據一目了然：大數據驅動下的決策更高明。高管們要么擁抱這一現實，要么卷鋪蓋走人。在各個領域中，企業只有找到將數據科學與傳統技能完美結合的方式，才能打敗對手。我們不能說，所有的贏家都會將大數據用于其決策制定。但數據告訴我們，這樣確實勝算最大。
京公網安備 11010502049343號