本文作者為大數(shù)據(jù)咨詢公司 Mammoth Data 的創(chuàng)始人 Andrew Oliver，主要介紹適宜應用大數(shù)據(jù)的8大項目類型。文章系國內ITOM 管理平臺 OneAPM 編譯呈現(xiàn)，以下為正文。
在過去的 12 個月里，筆者一直在大數(shù)據(jù)的戰(zhàn)壕里挖掘。好吧，其實大部分時間我只是坐在比我更聰明的人旁邊，看他們怎么在戰(zhàn)壕里挖掘數(shù)據(jù)，再把所做的事情進行簡化以上報給管理層。
很少有真正獨具一格的 IT 項目，那些聽起來比較特別的項目最終也只是大同小異。不過你們今天有眼福了，因為我決定出來冒個泡兒，跟大家分享一下過去 12 個月里接觸到的8大項目類型。
1、探索交易周期
那些做電子商務的公司想當然地認為，裝幾個工具就能掌握網(wǎng)頁訪客從銷售到付款的成交情況。但是很多公司處理的數(shù)據(jù)集遠遠不止網(wǎng)頁成交率，而且這些數(shù)據(jù)集主要來自經(jīng)銷商。
每個經(jīng)銷商提供格式各異的不同數(shù)據(jù)集。當然，從根本上說，這是一個帶有BI/可視化前端的核心ETL/數(shù)據(jù)整合項目。但是，對許多公司而言，要真正了解交易的生命周期(從開始、進展到結束)比想象中要困難。你需要整合大量的 CRM 數(shù)據(jù)、網(wǎng)站分析數(shù)據(jù)和財務數(shù)據(jù)，最后才能肯定地說：“是的，PPC(點擊付費廣告)帶來了交易，但是40%的客戶連第一筆交易都未能成功走到付款，那么……”
2、挖掘潛在客戶
很多公司都想知道你在做什么，然后再根據(jù)你的活動情況向你推銷產(chǎn)品。例如，你手機上可能裝了一個提供遙測數(shù)據(jù)的 app，這樣公司就會知道你在商場的哪個位置。憑借這些大數(shù)據(jù)，他們就能預測你在任意時刻的購買需求。
3、衡量營銷效果
營銷人員做事講求效益，他們想知道具體要做哪些事情，以及這些事情對KPI有何影響。從本質上說，這又是一個 BI 項目，而且往往涉及到大量的變更數(shù)據(jù)捕獲(CDC)和 ETL 數(shù)據(jù)整合工作。他們測量的實際KPI變化很大，有時還涉及到 Kylin 或 Greenplum 等工具中的數(shù)據(jù)庫。至于其他情況，可能屬于下一個類別——社交媒體。
4、測量社交媒體熱度
通常，公眾會在公開或半公開的社交網(wǎng)絡上談論你(或你的公司)。在這些地方你可以獲取很多有用的信息，比如大家怎么看待你的品牌，你的營銷活動是否有成效。既然美國地震勘探局可以通過 Twitter 探測到地震和震級，那么你也可以通過這樣的平臺了解剛推出的廣告活動效果如何。隨著越來越多的專業(yè)社交平臺出現(xiàn)，對于某些垂直行業(yè)而言，其數(shù)據(jù)采集范圍遠遠不止 Twitter 和 Facebook。
5、專攻日志文件
無論是為了入侵檢測還是應對安全審計，你都需要捕獲并收集日志文件并使其可檢索。在這一領域，Splunk 無疑大賺了一筆。當然，在大數(shù)據(jù)中還有其他更靈活的選擇。
6、因為不想買Teradata!
現(xiàn)在已經(jīng)不是 Teradata 獨統(tǒng)天下的時代了，大數(shù)據(jù)正在從邊緣向核心發(fā)展，而且 Apache Kylin 的數(shù)據(jù)庫已對所有人開放。得益于 Impala、HAWQ 和 Greenplum，MPP 分布式系統(tǒng)的地位也更加重要。那些價格昂貴、功能單一而且還不能兼容其他數(shù)據(jù)分析的工具，其發(fā)展空間越來越小——更別說是那些只能依靠某單一供應商的私有云。
7、經(jīng)久不衰的ETL
ETL (Extract-Transform-Load)可能依舊是如今最常見的Hadoop工作負載——而且我敢說，ETL 是適用于 Spark 的最常見的非流式工作負載。順便提一下，現(xiàn)在已經(jīng)有上百個創(chuàng)業(yè)公司冒出來說自己能夠處理這種任務了。
8、先捕獲傳感器數(shù)據(jù)再想辦法處理
不管是電網(wǎng)、制造業(yè)、水泵，還是老司機開的車，都在向我們傳遞信息。這些信息都需要捕獲。甚至有些人已經(jīng)弄清了該如何處理這些數(shù)據(jù)。但是，及時捕獲數(shù)據(jù)才是最重要的一步，因為很多人都覺得從技術上來說捕獲數(shù)據(jù)并不那么容易。
此外，筆者還經(jīng)常督促大家在大數(shù)據(jù)項目初期就要考慮數(shù)據(jù)分析問題。為什么呢?因為預先設計并確定好數(shù)據(jù)流的大小，遠比數(shù)據(jù)已經(jīng)準備好時再重新考慮整體布局要容易得多。但是有時候還是得細細咀嚼，做最好的打算。
近一年來，筆者見過不少其他項目類型，但是大多數(shù)用例都屬于以上八種之一。不知各位老司機是否還有補充?
OneAPM 能為您提供端到端的Java 應用性能解決方案，我們支持所有常見的Java 框架及應用服務器，助您快速發(fā)現(xiàn)系統(tǒng)瓶頸，定位異常根本原因。分鐘級部署，即刻體驗，Java 監(jiān)控從來沒有如此簡單。想閱讀更多技術文章，請訪問OneAPM 官方技術博客。
京公網(wǎng)安備 11010502049343號