隨著大數據工具數量的增長和計算能力的飛躍，數據科學家越來越多地發現，如果他們想從自己的模型中獲得最佳性能，那就必須考慮所使用的數據管道。
數據科學工具的功能通常圍繞著預測建模，機器學習和數據可視化。但這些工具還應該包括后端數據管道技術，因為這有助于加快分析的速度。
更強的計算能力
數據科學家們通常喜歡把后端技術扔給工程師來處理。當你的主要關注點是提高模型的預測精度或發現一個數據集中的未知相關性時，文件系統和資源管理工具通常情況下并不十分友好。
但隨著大數據工具數量的增長和計算能力的飛躍，數據科學家越來越多地發現，如果他們想從自己的模型中獲得最佳性能，那就必須考慮所使用的數據管道。
“有了更強的計算能力，我們可以進行多次回歸操作，這很讓人興奮，”Brendan Herger，銀行和金融服務公司Capital One的數據科學家表示。“這的確有助于快速發展，因為你有了更多的可用資源，讓一切變得容易。”
位于McLean, Va.的Capital One公司支持各種各樣的工具，但Herger表示，大部分的分析工作是通過Hadoop分布式文件系統和與其對應的YARN資源管理器完成的。在Hadoop平臺之上，他使用H2O.ai提供的機器學習軟件做了很多建模。其他數據科學家和數據分析師使用不同的前端數據科學工具，例如GraphLab，Apache Zeppelin和Tableau。據Herger所述，一個強大、靈活的后端系統可以支持大數據集的快速訪問，無視前端工具的差異性。
不需要進行數據采樣
Herger說，這種后臺計算能力讓他能夠對完整的數據集進行分析，不再需要進行數據采樣。他認為是否取樣這個問題“幾乎類似于一個宗教問題，”分析完整的數據集有幾個很大的好處。首先它保留了完整的數據，包括所有可能存在的信號。當數據被劃分成多個樣本時，信號可能會丟失或變得并不那么明顯。
“不進行采樣，這樣對數據科學家來說是非常有意義的”Herger 說。“計算能力的提升，讓人們得以在整個數據集上運行分析，這樣的分析將越來越普遍”。
對于San Francisco Macys.com 公司的高級分析主任Daqing Zhao來說，擁有強大的數據架構，為他的團隊帶來的主要好處就是速度。“我們希望進行快速原型開發，”本月在Boston舉行的TDWI Accelerate會議上，Daqing Zhao說道。
趙的團隊負責優化Macys.com網站，該網站是Macy ‘ s Inc的零售門戶。優化工作范圍很廣，例如設計變更，進行A / B測試，構建產品推薦引擎，為每個客戶提供個性化的推薦等。他的團隊使用的主要大數據工具是以Hadoop和Spark系統為基礎構建的，它支持一系列分析工具，既包括SAS Institute和IBM提供的商業化分析工具，也包括一些開源工具，像H2O，R和Mahout等。
數據沙盒有助于數據分析
Zhao 要求Macys.com的數據工程團隊在公司數據倉庫中為他的團隊構建數據沙盒。這允許他團隊中的數據科學家以一種實際相關性來轉換或連接數據，而不需要在數據記錄級別進行任何數據變更。
對于所有這些工具，Zhao表示，H2O在進行預測建模尤其有用。他第一次意識這一點是在最近的一次演示某個軟件的會議上。他說，在11秒內，工具在一個有著一億行數據的數據集上執行一次邏輯回歸。重要的是，這些工具能夠與公司的后端數據基礎設施完美集成，這使得它更具有吸引力。
Zhao說，他現在沉迷于那些數據科學家可用的開源數據工具。除了其對于大數據強大處理能力，這些工具的背后還有著廣受歡迎的大型社區支持，這使得它更容易找到相關問題的答案。集成開源工具和數據基礎設施通常會存在一定的問題，因為在出現問題時，并沒有專業的技術支持來幫你解決。但此類工具的日益普及逐漸削弱了這個問題產生的影響。
“因為開源軟件的逐漸流行，你可以使用谷歌或在論壇里找到答案，”Zhao說。“以前你遇到開源軟件的問題，可能會感到孤立無援，現在不會這樣了。”
從數據管理中解放出來
當數據科學家在后端系統上運行一些任務時，他將會花費更少的時間在數據管理上。
Colin Borys遇到的情況大致如此，Colin是Riot Games Inc.公司的數據科學家，該公司就是大名鼎鼎的對戰游戲LOL的開發商。在6月舊金山舉行2016 Spark Summit峰會的一次演講中，Borys表示，他的團隊會監控網絡流量，以試圖發現是否有玩家正在遭遇網絡擁堵，是否可以通過網絡疏導來提高網絡連通性。數據科學團隊還開發了一個推薦引擎，建議玩家選擇不同的服務器來均衡網絡負載。
在之前，大部分工作是基于Hive上運行的臨時查詢，但Borysr認為這種方法并不高效，不具有較好的可伸縮性。Riot Games隨后引入了Spark技術，部分原因是它想讓數據科學家在Hadoop數據上執行SQL查詢，對于SQL，他們已經非常熟悉。這家位于Los Angeles的公司開始使用Databricks提供的云Spark平臺，這樣不需要有專門的人來花時間管理集群。
在引進的Spark之前，Borys說，數據科學家會花費大量的時間在準備數據上。現在他們可以利用這些時間來完成實際的數據分析。
“我們想要解放分析師，”他說道。“使用Spark，進行數據分析容易的多，它也讓分析變得更為有效。”
京公網安備 11010502049343號