導語：關于大數據，Hadoop是唯一的工具嗎？大數據應該包括哪些內容？Hadoop對什么情況有意義？
Facebook分析主管Ken Rudin表示，Hadoop編程框架可能是“大數據”運動的代名詞，但對于公司從大規模存儲的非結構化信息中得到商業洞見的需求，Hadoop不是唯一的工具。
“有很多普遍的大數據信念需要被質疑，”Rudin說，“問題是，Hadoop是一種技術，但大數據不是關于技術的，大數據是關于業務需求的。”
“實際上，大數據應該包括Hadoop和關系型數據庫和任何其他適合手頭任務的技術。”他補充說。
Facebook的商業模式依賴于對其超過10億社交媒體用戶的用戶資料和活動數據的處理，以提供有針對性的廣告。但是，“對于我們的所要做的，Hadoop并不總是最好的工具。”Rudin說。
例如，在Hadoop中對一個數據集做廣泛的探索性分析是有意義的，但關系型存儲對于進行運營分析的發現更好。
Rudin表示，Hadoop對于在一個數據集中尋找最低水平的細節也不有好處，但關系型數據庫對于存儲轉化和匯總的數據更有意義。
“結論是，為你的任何需求使用正確的技術。”他說。
Rudin還有另外一個假設，即分析大數據的單純行為提供有價值的見解。“問題是為無人問津的問題想出更加輝煌的答案，”他說，“要弄清楚什么是正確的問題仍然是一門藝術。”
Facebook一直專注于聘用合適的員工來運行其分析業務，不僅要擁有統計博士學位，還要精通業務。
“當你面試的時候，不要只關注‘我們怎么計算這個指標’”Rudin說，而是要給他們一個商業案例研究，并問他們哪些是最重要的指標。
企業還應該嘗試培養“人人分析，”Rudin表示。
Facebook運行一個內部“數據營(data camp)”，一個兩星期教導員工分析的計劃。Rudin說，產品經理，設計師，工程師，甚至財務部門工作人員都出席。“人人參與其中的意義，你給大家一個數據的共同語言，他們可以用來討論問題和難題。”他說。
Facebook還動搖了統計人員和業務團隊的組織。如果統計人員保持獨立，他們往往“坐在那里等待來自業務領域的請求并回應他們”，而不是主動的。但是，如果統計人員被放置到業務單位，“你會發現多個團體試圖冗余地解決問題。”他說。
Facebook已經采用“嵌入式”的模式，把分析師放在業務團隊，但他們向更高級別的分析師報告，這有助于避免重復勞動。
京公網安備 11010502049343號