提到大數據,難免要說到下面這幾個V:規模volume、速度velocity、種類variety、真實性veracity和價值value。
仔細關照這些特點,會發現兩個問題。數據的規模、速度和種類指的是大數據生成過程和如何捕捉和存儲數據,真實性和價值指的是數據的質量和有用性。數據管理對很多公司來說是一個主要的挑戰,雖然小數據也在受到數據質量和管理問題的困擾。
另外,數字世界正在生成來自不同數據源的新數據集,其中多數來自網絡,包含結構化數據和非結構化數據。
為了應對大數據難題,很多公司只是簡單的關注數據數量、種類和速度,但其實數據噪聲的問題也很嚴峻,很多信息和元數據對企業來說沒有,或者很少有價值。
智慧數據(真實性和價值)的目的就是要過濾噪聲,使用有價值的數據,這可以有效地幫助企業解決業務難題。
企業應用了智慧數據,就可以說數據并不是越大越好。
對于一個預測模型來說,簡單的隨機樣本是否足夠?
查詢五百萬列和查詢十億列對預測分析模型的準確性來說有什么邊際影響?從統計學角度來講,邊際影響完全可以忽略。
那么,大數據如何變成智慧數據呢?
沒有一成不變的公式,但你必須要更好地理解數據。分析數據的質量不止能讓公司變成數據驅動,也能讓它變成創造力驅動。這就是大數據走向智慧數據的路徑。
和數據打交道的人不是要對著一堆數據,猜想為什么有的數據有用,有的就沒用,而是要將數據人性化,這樣才能讓數據說話。這是未來分析數據數量和質量的技巧。公司必須要讓數據會說話,盡可能地消除偏見。
數據多還不夠。問題的關鍵在于研究數據,比如數據是不是均勻而規律的?它能不能被輕松地提取和分析?數據的變化很多嗎?有用的數據是不是蘊藏在其他不相關的信息里?
對數據的解釋不應該是隨機的,它應該指向明確的解決方案和可執行的任務。之后,還應該分析解釋數據帶來的價值。
只有在數據能夠優化和自動化解決方案和解決問題時(數據驅動的決策制定),對數據的收集和探索才是有意義的。
例子有很多,比如網站只更改了按鈕的顏色嗎,就能帶來更高的轉化率。
因此,目標不應該僅限于把通過數據發生的各種行為連接在一起,去理解它們,更應該包括提升現有流程的性能,或者預測下一次成果。
這也就意味著焦點不應該是收集大規模數據,而應該把數據的環境都呈現出來。數據需要在固定的環境下進行理解和解讀。比如,如果你不知道用戶點擊鏈接之后做了什么,只知道他點擊了鏈接,那有什么用呢?
這意味著大數據已死嗎?不完全是。理解和擁有完成的用戶行為視圖至關重要,從這一點上來說,大數據扮演著重要的角色。
如果跨交互渠道的實時用戶行為的分析受到人口和地理因素的限制,那么大數據就不可丟棄。你應該讓數據變大。不過,如果機器學習算法能夠通過使用少量數據集給出產品推薦,那么為什么還要采用大數據呢?
數據科學并不一定意味著凡事都要靠大數據。數據科學是要我們知道什么時候用瑞士軍刀,什么時候用電鋸。
我們的目標應該是將企業文化從數據管理(管理各種各樣的數據)向數據學習(利用數據背后的所有價值)轉變。