本文原創作者：langyajiekou，本文屬FreeBuf原創獎勵計劃，未經許可禁止轉載

題外話：當了很久的潛水員和伸手黨，實在覺得有愧于心，但又拿不出太好的東西。想了很久，發現Freebuf中甚少提到Splunk大數據分析的應用，在此拋磚引玉，拿一些自己的東西出來給大家參考，希望能給予大家一點啟發。

Splunk是一個可運行于各種平臺的 IT 數據分析、日志分析、業務數據分析軟件，支持的操作系統包含Windows,Linux, Solaris, FreeBSD, AIX, MacOS, HP-UX。與 Google Analytics 這一類的 Web 日志分析軟件的不同之處在于，Splunk可以支持任何 IT 設備(服務器、網絡設備、應用程序、數據庫等)所產生的日志，其對日志進行處理的方式是進行高效索引之后讓管理員可以對日志中出現的各種情況進行搜索，并且通過非常好的圖形化的方式展現出來。

每天由各種服務器所產生的日志的數量是非常驚人的，而遇到突發情況時，卻往往能夠從這些海量日志中找到最多的有用消息。通常在 Unix 下對日志進行查找使用的是grep之類的低效率的方式，而 Splunk 使用了現代搜索引擎技術對日志進行搜索，同時提供了一個非常強大的AJAX 式的界面展現日志。

Splunk除了商業版本以外，也有免費版本可以使用，不過有500M/每天的限制，500M的Log222用來作DNS分析，其實也綽綽有余了。另外其還提供了非常多的APPs，針對市面上通用的，主流的各種軟硬件系統日志進行了定制，基本可以拿來就用；特征針對企業安全，Splunk另外提供了Splunk Enterprise Security套件，即通常所講的SplunkES，ES提供了一套完整的安全解決方案，通過大數據分析提供從網絡，終端，訪問，病毒，漏洞和身份信息安全等一攬子預防、報警方案，可以有效地幫助安全團隊快速定位和響應內部和外部攻擊，并有效的簡化了威脅管理，降低風險，從而有效的保護企業數據。目前最新版本已更新到4.2.0，具體篇幅就不再展開了，如果有需要，我再單獨開一篇文章給大家講講如何配置。

Part I: SPLUNK UniversalForwarder對DNS日志監控的建立

先來看下效果圖

從上面的表格我們可以很清楚的看到，有兩個IP地址，在15：41的時候嘗試查詢tbccint.com的域名，而這個域名是名列Malware域名中的一個，由Google安全團隊提供，屬于攻擊頁面類型。而通過Query字段，我們可以理解到用戶應該是被迫安裝了toolbar導致該事件報告。后面的事情就簡單了，找到用戶干掉toolbar，避免了可能造成的危害！

長話短說，安裝Splunk到Linux環境后，（注：不建議使用Windows環境安裝Splunk，因為很多組件在Windows環境下不兼容）

安裝Splunk到/Home目錄

　　然后跟著提示直接Y就好了，也可以用acceptlua去掉提示。

Splunk安裝完了后，就可以在Linux下面使用/home/splunk/bin/splunkstart 啟動Splunk服務，接著就可以使用http://192.168.xxx.xxx:8000/來訪問，缺省密碼是ChangeMe

下面我們開始配置DNS，也許有些朋友已經了解過“Analyzing DNS Logs Using Splunk”這篇文章，那么也應當知道這篇文章中有很多錯漏，當然，本文也是基于這篇文章的核心思想來搭建本系統的。

1. 那么首先，我們需要先激活Windows DNS 服務器的日志功能。針對DNS的日志，我們只需要激活如下幾個選項就可以了。（注：由于windows 2012已經將DNS日志寫入EventLog，所以，本選項不能通用）這里需要注意的是文件路徑，不建議放到系統盤符以外的其他地方，因為DNS日志在進行覆寫的時候會先將該日志復制一份到系統目錄，這樣到知道大文件日志在進行搬移的時候會對Splunk的UF造成問題。建議放到跟系統目錄同盤符就好了，大小根據自己的需求進行設置。

2. 接著我們需要安裝Splunk Universal Forwarder，簡稱UF，這個是一個Windows 應用程序，可以監控系統日志和文件以及文件夾等等，并轉換成SYSLOG日志發送到SYSLOG日志接收者。

3. 由于DNS日志的特殊性，獨占線程會破壞系統DNS日志的生成，所以在UF中不能使用MONITOR功能，而必須使用MONITORNOHANDLE，等下我們會提到。在此之前，特別重要的一件事需要提醒給大家，也相信很多人最終發現DNS的SYSLOG日志不成功的原因就是：必須安裝splunkforwarder-6.2.10-276849-x64-release.msi或splunkforwarder-6.2.10-276849-x86-release.msi，其他版本均有各種問題，并未加以解決！（該case由本人發現并提交給Splunk開發，然后Splunk確認是bug，經過兩星期后fix才更新出來）

4. 那么下面我們開始安裝UF.

5. 安裝過程其實也很簡單，簡單過一下把。

6. 接受license

　　7. 指定安裝路徑

　　8. 因為我們并未配置Deployment Server所以這里留空

　　9. 這里輸入我們之前安裝的Splunk服務器的地址，端口號請留缺省

　　10. 接著一路Next

11. 直到這里，然后我們一個都不選，直接Next，至此安裝完畢。

　　12. 接下來我們就需要配置一個APP用來采集DNS日志。

13. 進入剛剛安裝的UF路徑，即%PROGRAMFILES%SUF

14. 在etcapps目錄下建立一個空文件夾叫TA-WindowsDNS

15. 然后建立一個文件夾叫local. （%PROGRAMFILES%SUFETCAPPSTA-WINDOWSDNSLOCAL）

16. 使用Notepad建立一個名為inputs.conf的文件，編輯內容如下：

17. 請修改并確認你的DNS日志輸出路徑，此外，這里必須使用MonitorNoHandle，Monitor參數不能用在可以回滾的DNS日志上。

18. 重啟SplunkUniversalForwarder服務，很快我們在Splunk服務器上面將收到錯誤提示，因為我們并未創建正確的INDEX，但這也意味著我們成功的完成了第一部分工作！

Part II: SPLUNK對DNS系統配置

1. 我們將開始對SPLUNK進行DNS配置

2. 下載windows-dns-logs-analytics_10.tgz并安裝 (https://splunkbase.splunk.com/app/3012/)

3. 這個APP大部分可以利用，但是他沒有遵循CIM標準，導致跟ES的結合造成問題，因此我們必須以這個app為原型進行修改，如果不需要介入ES，那么后文中有部分設置不需要修改（所謂的app，大家可以直接想象成插件程序，就像add-on一樣，不過add-on在splunk里面是以TA的形式出現，而APP比TA更加強大，擁有各種已定制功能，比如DashBoard）

4. 下載完了app后，點擊“Install app from file”進行安裝

　　6. 所有新app的安裝都需要重啟服務器

7. /home/splunk/bin/splunkrestart

8. 完了后就需要在在LINUX中進行操作了

9. 進入/HOME/SPLUNK/etc/apps/TA-windowsdns

10. 在local 文件夾下面建立一個indexes.conf的文件用來創建index數據庫

11. vi /home/splunk/etc/apps/TA-windowsdns/local/indexes.conf

12. 過個幾分鐘，這時回到Web這里，你應該已經可以查詢到DNS訪問記錄

13. 我們可以查詢到相應的且你可以看到所有的fields已經正確的解析出來了。

14. 第一次有點慢，是因為不關field解析出來了，還把域名對應的IP地址，即answer地址給一起查詢出來了，這個過程有點慢，不需要反解析IP的朋友可以待會學我一樣停掉這個選項，

15. 由于DNS查詢量相當大，而我們完全沒有必要去關注內網IP查詢公司內網域名的記錄，所以，我們需要先篩選這部分數據從而節省volume

16. 編輯system目錄下面的props配置文件

17. vi/home/splunk/etc/system/local/props.conf

18. 添加如下部分

19. 由于原始的DNS日志文件格式是這樣的，DNS查詢記錄是(4)wpad(7)xyzodc(2)ad(0)，這樣非常不好閱讀

20. 所以在TA-windowsdns已經匹配并置換成了.cas2.northport.com.my.

21. 但是這對我們在進行數據源篩選的時候會造成麻煩，所以，我們從源頭來解決問題

22. 我們應用SEDCMD-msdns = s/(d+)/./g來替換(4)為“.”

23. 接著 vi/home/splunk/etc/system/local/transforms.conf

24. 添加如下部分

25. 可自行替換mycompany到你自己公司的域名，或者添加其他可以被忽略的白名單域名

26. Okay，做完上面的部分那么我可以發現所有的白名單域名訪問記錄已經不再可被查詢到了，干擾項已經基本排除了。

27. 接著我們需要對TA-windowsdns的app進行一些手術

28. 進入/home/splunk/etc/apps/TA-windowsdns

29. vi /home/splunk/etc/apps/TA-windowsdns/local/props.conf 添加basedomain的解析和正確query的解析

30. 屏蔽掉DNS解析以加快速度。（如果不在意速度，可以保留，這個answer地址解析回來的IP地址在以后有大用，比如用來比對IP地址信任度 –IP Reputation，這個不在本文中闡述）

　　31. 修改完了，整體看上去

32. 重啟服務之后，那么就可以看到完整的DNS查詢記錄，Splunk中的DNS查詢就配置好了

Part III: SPLUNK對DNS的監控和優化

1.接著我們來配置DNS的日志監控

2.首先我們需要先安裝Getwatchlist Add-on（https://splunkbase.splunk.com/app/635/）

3.裝完了我們是看不到任何UI的，因為他僅僅提供了命令功能，具體使用方法可以參考https://splunkbase.splunk.com/app/635/#/details在這里，我們簡單的調用該方法即可

4. 保存并創建一個Scheduled Alert，我這里設定每天下午6點自動下載MalwareDomain列表，并輸出為malwaredomain.csv文件

5. 當下載完畢后自動自行對應的腳本命令，該命令保存在TA-windowsdns/bin/scripts目錄下面或者系統目錄下面，即$SPLUNK_HOME/bin/scripts

　　6. TA-windowsdns本身是不帶bin/scripts目錄的，我們要手工創建

7. mkdir/home/splunk/etc/apps/TA-windowsdns/bin

8. mkdir/home/splunk/etc/apps/TA-windowsdns/bin/scripts

9. 創建python腳本

10. vi /home/splunk/etc/apps/TA-windowsdns/bin/scripts/cpmalware.py

11. 腳本的核心是給每行的malwaredomain添加通配符，原始文件是這樣子的：

　　12. 改造過后是這樣子的：

13. 為什么要做這樣的一個變化呢？因為SPLUNK在做LOOKUP的時候默認采用全匹配，除非當用戶訪問的”www.xyz.com”完全匹配了malwaredomain列表中的”www.xyz.com”，才能匹配成功，否則，你是查詢不到數據的，而往往malwaredomain中的是”xyz.com”，那么用戶的query就會匹配失敗，所以做了以上的手術。

14. 接下來我們還需要對TA-windowsdns中的transforms.conf進行修改以便實現部分匹配

　　22. 添加如下部分

　　24. 收工！

25. 現在可以對DNS日志進行監控，當滿足條件可以設定自動發送報警郵件，或者進行其他處理，比如通過防火墻添加攔截封鎖該響應IP地址，等等。

27. 為了滿足CIM需求，需要額外進行一些小的修改，不過，如果沒有安裝ES的可以不用考慮，只需要對DNS查詢語句進行一些小的修改就可以

28. 貼出完整的符合CIM標準的props.con和transforms.conf （請注意，跟前文有少少不同）

29. props.conf

　　30. transforms.conf

　　31. 還需要修改lookups下面的這個csv文件

編者注：SPLUNK用來做大數據分析應用到安全方面可以幫助解決很多問題，尤其是可以用來做各種預分析和后處理工作。SPLUNK也是一個非常大的系統，可被利用的方向非常之多，這篇文章僅是冰山一角，如有錯漏，還望斧正。謝謝。

本文原創作者：langyajiekou，本文屬FreeBuf原創獎勵計劃，未經許可禁止轉載