大數據正在日漸成為主流，但我們仍然有必要從硅谷數據科學家們那里學習一些經驗教訓，畢竟他們的業務是依賴于業務數據而生存的。雖然它們的使用的案例并不總是符合傳統行業，但他們仍然掌握了大量的科學和技術可以幫助大數據領域的新人免受許多挫折。
1、Hadoop不是萬能的。現在，這應該是一條常識了，但他還是值得反復的強調。ChoozOn公司的CTO烏薩馬?法耶德在強調這一點時表示，甚至連雅虎——法耶德的前雇主(他曾擔任雅虎的首席數據官)也經歷了慘痛的教訓。他說，雅虎曾試圖利用Hadoop對客戶進行一些先進的細分，但卻發現利用一種比較傳統的數據庫架構來處理這一特別的工作量的成本要少50倍。在他們意識到這一問題后，該項目最終被停止了。然后他們重新啟動了nPario分析項目。目前，雅虎是一位付費的nPario客戶。
2、大數據使得數據科學更容易。我發現這一個更富有啟發性的見解，這在很大程度上要歸功于丹尼爾?維森塔爾，sparked.com網站的首席科學家，該網站如此清楚地界定了大數據和數據科學概念之間有時重疊的狀況。他解釋說，基本上，諸如支持向量機和神經網絡技術是經過了時間的考驗的，證明方法便是“從你的數據集中摘取每一盎司的信息，即使這些數據集很小，但技術是非常復雜的，他們難以解釋，往往超出規模。”
然而，大數據讓數據科學家可以使用簡單的建模技術，如決策樹和回歸分析，得以確保了大量的數據的準確性(統計意義上的準確性)而不是采用一個超復數算法。而且，維森塔爾指出，使用Hadoop等通用的大數據技術手段，數據科學家可以更快的開發和測試模型，因為他們的基礎設施不用調整到一個特定的算法或問題類型，其設計可以很好的執行大數據集。
3、“有時候了解哪些需要被干掉更為重要。”軟件即服務的先驅Salesforce.com使用大數據平臺以監測吸收，使用各種特性的產品。其產品主管納拉揚?巴拉德瓦說，我們的目標不僅僅是只能預測下一代產品的新的功能。相反，他解釋說，使用數據，他們可以確定什么功能沒有價值，無法幫助Salesforce.com這樣的公司把資源轉化為更有價值的功能。“有時候，了解哪些需要被干掉更為重要。”他說。
巴拉德瓦沒有針對這一點進一步解釋，但下一個步驟是分析特點、功能、執行效果似乎是合乎邏輯的，而不是從設計的角度來看。
4、相關內容增加價值。換句話說，如果用戶知道了他們為什么被推薦了一個特定的內容、要約或建議，他們會更容易覺察出來。作為StumbleUpon的一名高級數據科學家，他解釋說，他所在的公司投入了巨資在大數據技術方面，就是為了將大多數的相關網頁內容展示在每個用戶面前，但他們知道期望這些用戶只信任服務的判斷是不夠的。Sparked.com的維森塔爾在談話中提出了類似的觀點，并指出諸如Pandora和Netflix的服務之所以流行，部分原因就在于他們實際上在建議類似的內容的同時，也告訴了用戶關于自己的東西。
5、交易數據勝過搜索數據。PayPal的首席科學家MokOh，討論了從開始購買的產品搜索到結束的一連串的事件，以及它是如何變得越來越困難。當你確定信號鏈從一端開始，并要在其他端口工作。PayPal正試圖抹掉這一差距，但是，通過從交易過程和使用其出售的其他數據(包括內部和從外部來源，如Facebook和GNIP)，試圖找出其真正的客戶和客戶真正想要的。他認為這要比谷歌試圖通過搜索來跟蹤用戶購買行為要容易。當然，除非他們使用諸如谷歌錢包來實際購買的東西。
京公網安備 11010502049343號