IT安全的發(fā)展是圍繞數(shù)據(jù)，生成、收集、收集、存儲(chǔ)和分析數(shù)據(jù)是安全日志的重要部分，但這些大型數(shù)據(jù)集給存儲(chǔ)和處理資源帶來巨大壓力。

在專業(yè)生產(chǎn)環(huán)境中，應(yīng)該部署著良好的數(shù)據(jù)收集和分析基礎(chǔ)設(shè)施，并有足夠的資源進(jìn)行可靠和穩(wěn)定的設(shè)置。

然而，現(xiàn)實(shí)情況是，由于預(yù)算限制以及對(duì)更大靈活性的需求，安全專家通常需要在更小的環(huán)境中實(shí)施和測試數(shù)據(jù)分析及處理。幸運(yùn)的是，即使預(yù)算低且時(shí)間有限，我們?nèi)匀挥修k法可以測試數(shù)據(jù)分析。本文中，讓我們看看在小環(huán)境中有限預(yù)算情況下測試數(shù)據(jù)分析的方法。并且，讓我們看看在小型環(huán)境有效運(yùn)行數(shù)據(jù)分析的方法。

虛擬化

為了保持低成本以及高配置靈活性，我們應(yīng)該盡可能多地利用虛擬化硬件。Vmware ESXi是數(shù)據(jù)分析測試實(shí)驗(yàn)室的不錯(cuò)選擇，Parallels、VirtualBox和Hyper-V等其他產(chǎn)品也可以使用。在這個(gè)例子中，我們將使用Vmware。在免費(fèi)注冊(cè)許可證后，這個(gè)管理程序可安裝在相對(duì)廉價(jià)的硬件中—但是要注意支持的CPU要求，否則也可能會(huì)很昂貴。在管理程序上，我們可以通過虛擬網(wǎng)絡(luò)安裝和連接很多不同的虛擬主機(jī)。例如，這包括基于Linux和Unix的代理服務(wù)器、IDS和防火墻設(shè)備，以及Splunk和Syslog服務(wù)器。

代理服務(wù)器

代理服務(wù)器可提供對(duì)網(wǎng)絡(luò)流量的可視性，并可處理流量直到ISO模型的應(yīng)用層。例如，它可顯示HTTP和FTP特定通信。現(xiàn)在有很多免費(fèi)的開源代理服務(wù)器，例如ClearOS、CacheGuard和pfSense。pfSense是基于FreeBSD，這是最容易管理的代理服務(wù)器之一，并且它內(nèi)置很多高級(jí)功能，例如Squid Proxy、SSL檢查、防病毒和VPN。遠(yuǎn)程Syslog是防火墻日志的可選項(xiàng)，但為了輸出代理服務(wù)器日志，還需要在代理服務(wù)器設(shè)置的自定義選項(xiàng)字段添加以下命令行：access_log syslog:LOG_LOCAL4，這之后會(huì)進(jìn)行重新啟動(dòng)。對(duì)于SSL檢查，則需要通過Web UI安裝Squid 3 Proxy軟件包，SSL檢查可提供hTTPS代理日志記錄。

Splunk

Splunk Light是集中日志記錄的起點(diǎn)，它還可以為安全性運(yùn)行測試數(shù)據(jù)分析程序。在注冊(cè)后，它免費(fèi)可供使用，并可很容易地安裝在Ubuntu服務(wù)器。考慮到主機(jī)本身是虛擬化，整個(gè)服務(wù)器不會(huì)增加任何成本。另一個(gè)選擇是Splunk企業(yè)免費(fèi)版，它提供60天免費(fèi)試用，允許每天索引500 MB數(shù)據(jù)，但在60天后需要付費(fèi)轉(zhuǎn)為永久Splunk企業(yè)版。

在pfSense Remote Syslog的情況下，我們需要Splunk通用轉(zhuǎn)發(fā)器來收集日志以及轉(zhuǎn)發(fā)日志到Splunk索引。這個(gè)轉(zhuǎn)發(fā)器可與Splunk Light Search Head(上文所述的Web UI)相同的主機(jī)或者在單獨(dú)主機(jī)上。我們可通過Splunk Web界面來完成對(duì)這個(gè)Splunk通用轉(zhuǎn)發(fā)器的數(shù)據(jù)來源和監(jiān)聽端口的配置和自定義。

Hadoop

數(shù)據(jù)挖掘和數(shù)據(jù)科學(xué)是目前的熱門話題。對(duì)于任何想要深入研究這個(gè)問題的人來說，可以選擇運(yùn)行Hadoop測試服務(wù)器。通常情況下，Hadoop運(yùn)行在群集配置中，但這也可以降至單節(jié)點(diǎn)群集，這種單臺(tái)服務(wù)器將同時(shí)包含數(shù)據(jù)節(jié)點(diǎn)和名稱節(jié)點(diǎn)。為了互換Splunk和Hadoop服務(wù)器之間的數(shù)據(jù)，可以下載和安裝Hadoop Connect。這需要安裝Splunk Enterprise Free，并由于Splunk內(nèi)的應(yīng)用支持要求，它將無法在Splunk Light運(yùn)行。安裝手冊(cè)和視頻提供在Splunk網(wǎng)站。

總結(jié)

總之，安全完全是關(guān)于數(shù)據(jù)。在設(shè)置這個(gè)測試實(shí)驗(yàn)室后，需要生成可用數(shù)據(jù)。這需要虛擬網(wǎng)絡(luò)內(nèi)的一些活動(dòng)，例如通過代理服務(wù)器運(yùn)行家庭LAN、在網(wǎng)絡(luò)外圍設(shè)置蜜罐或者在網(wǎng)絡(luò)內(nèi)運(yùn)行模擬攻擊。由于使用了虛擬組件，這個(gè)測試實(shí)驗(yàn)室將具有足夠的靈活性以適應(yīng)所要求的情況，并將能夠生成很多類型的數(shù)據(jù)用于分析。