過去的經驗表明，充分發揮規模化優勢能夠切實提升分析機制所帶來的實踐價值。不過如果把大數據看作一柄榔頭，可并不是所有問題都屬于等待敲下的釘子。
很多人都誤以為在大數據解決方案中，處理對象的規?？偸窃酱笤胶?。事實上，人們往往會從不同的立場出發，對“越大越好”這一命題給出自己的答案，而我匯總出了幾下幾種典型情況：
深信不疑: 這是一種根深蒂固的觀念，有些人認為無論實際情況如何，更龐大的規模、更迅捷的速度以及/或者更多樣的數據類型總是能夠帶來更具實踐價值的分析結論，而這也正是他們眼中大數據分析的核心價值所在。如果在實際操作中找到理想的結論，那么根據他們的思維方式，這僅僅是由于具體處理者不夠努力、不夠聰明或者沒有使用正確的工具及方法。盲目迷信: 這種觀點認為，大數據的絕對規模本身就是其價值的切實體現，而這與我們是否能夠從中獲取到實際結論并無關系。根據這種思維方式，如果我們以大數據所支持的特定企業應用程序為出發點對大數據功能進行評估，那么完全不需要像當下分析領域這樣迫切需要數據科學家的幫助、而能夠任意將數據保存在數據湖當中以支持未來的探索活動。視為負擔: 這種觀點認為，數據的龐大規模并不是帶來正面或者負面結果的必要條件。不過有一項事實明確而不容否認，即現有數據庫在存儲與處理能力方面的匱乏根本無力負擔大數據的高強度負載，因此需要新的平臺加以支撐（例如Hadoop）。如果我們不能將發展腳步與數據的迅猛增長保持一致，那么這種觀點認為企業的當務之急是將核心業務轉移到新型數據庫當中。絕佳機遇: 就我個人而言，這才是看待大數據的正確方式。其核心實質在于隨著數據規模的不斷擴大、數據流速度的不斷提升以及數據來源與格式的持續增長，我們需要以更加快捷而有效的方式所數據中提取出前所未有的分析結論。這種觀點不會迷信或者過度依賴大數據，因為我們承認某些結論完全可以通過小規模數據分析方式得出。同時，這種觀點也不會將數據規模視為一種負擔，而單純只是需要通過新型數據庫平臺、工具以及實踐方案解決的另一項技術挑戰。
去年，我曾在一篇博文中談到大數據中的核心用例，主要探討角度是從“絕佳機遇”層面出發。而去年年底，我通過親身觀察發現大數據的核心“業務”價值主要受到增量化內容在提供增量化背景信息方面的影響。如果大家希望通過數據分析來了解事物的全貌以及蘊藏在其背后的深層含義，那么背景信息總是越多越好。同理，如果大家希望將與當前問題相關的所有變量、關系以及模式進行全面考量的話，內容也總是越多越好?？傮w而言：更多背景信息加上更多相關內容通常意味著更大的數據規模。
大數據的價值還更多地體現在其糾正錯誤的能力，這種價值在小規模數據當中往往很難體現。在博文中，我曾援引某位第三方數據科學家的觀察結果，發現培訓信息集合當中包含的數量量越小、幾類常見風險狀況的發生可能性就越高。首先，小規模數據往往會令我們忽視某些至關重要的預測性變量。大家也有可能對某些切實具備代表性的樣本信息產生誤解。除此之外，大家往往能夠在具備更為復雜并能切實體現底層工作關系的數據集的前提下，保證自身將某些虛假的相關性聯系排除出去。
規?；拿篮?/strong>
相信每個人都已經意識到，某些數據類型及特定用例在規?；瘲l件下能夠比其它資源帶來更出色的分析結論推動作用。
在這方面，我最近發現了一篇非常出色的評述文章，其中對一種特殊類型的數據——也就是低密度細化行為數據——進行了深入闡釋，指出其能夠在規?；瘲l件下顯著提高預測性分析的準確率。該文作者Junqué de Fortuny、Martens以及Provost指出，“此類數據集的關鍵特性在于其低密度：對于任何給定實例，絕大多數特征對于實際價值的貢獻為零、或者說‘沒有意義’。”
其中最值得注意的（作者們也引用了大量研究資料來支持他們的討論）是，此類數據已經成為不少關注于客戶分析任務的大數據應用程序的核心所在。社交媒體行為數據完全滿足以上描述，而Web瀏覽行為數據、移動行為數據、廣告響應行為數據以及自然語言行為數據等等也全部與之相符。
“事實上，”三位作者指出，“對于大多數常見的預測分析型業務應用程序來說，例如針對銀行及電信、信用評分以及資源消耗管理等任務的應用，此類數據已經被普遍作為預測性分析的關鍵性素材……其特性往往體現在人口、地理位置以及個人心理傾向方面，并且包括對特定行為的統計匯總——例如企業此前進行過的采購行為。”
在談到規模較大的行為數據集往往比小規模數據集更具分析價值的核心原因時，三位作者指出：“少數特定的已知行為往往無法在沒有龐大數據量作為依托的前提下被準確觀察得出。”這是因為在小型數據集當中，除非其表現超出預先設定的具體范圍，否則個人行為是不會被記錄下來的。但當我們把目光投向所有相關人員整體，很有可能會觀察到那些僅僅出現過數次甚至一次、但卻指向特定利基層面的特殊行為類型。在小規模數據集當中，由于對象數量與行為特征相對有限，我們很可能會忽略掉上述更為豐富的細節信息。
行為數據集的來源越豐富、預測模型就越能獲得理想的施展空間，從而為未來可能出現的更為廣泛的潛在場景提供更具參考價值的預測結論。因此，規模越大通常意味著分析效果越好。
有時候越大意味著越難理解
盡管如此，三位作者也注意到在某些情況下、上述結論可能并不成立，而這一切都要歸結于特定行為特征的預測價值層面。基本上，權衡機制充當著行為預測模型的基礎。
每一種被納入到預測模型內的新型增量化行為特征都應當具備與分析目標的高度相關性，只有這樣才能提高分析收益并保證預測模型有能力克服更顯著的內容差異化狀況——也就是過度擬合與錯誤預測——但這往往需要有規模更大的功能集作為依托。正如幾位作者指出：“如果不能對模型進行平衡與改進（假定已經選定了正確的數據子集），與核心主旨無關的大量信息只會增加出現偏差與過度擬合狀況的機率。”
很明顯，當不利于得出預測性結論時，數據規模并非越大越好。相信沒人愿意在大數據分析過程中受到其臃腫規模的嚴重拖累。在這種情況下，我們的數據科學家則需要開動腦筋，想辦法將導入模型的數據規模盡量縮小、從而使其最大程度與當前分析任務的特性相匹配。
京公網安備 11010502049343號