網(wǎng)絡(luò)犯罪以及其他惡意行為的不斷增加正促使企業(yè)部署更多的安全控制、收集越來越多的相關(guān)數(shù)據(jù)。結(jié)果，大數(shù)據(jù)分析方面的進展被用于以更寬和更深的分析為目的的安全監(jiān)控中，以保護昂貴的企業(yè)資源。大數(shù)據(jù)安全分析技術(shù)融合了大數(shù)據(jù)的可擴展性，并將其與 Advanced Analytic 和 安全事件管理系統(tǒng)( security event and incident management systems，SIEM) 結(jié)合起來。在不久的將來，大數(shù)據(jù)安全分析將會變成像病毒檢測和漏洞掃描一樣常見。
因此，大數(shù)據(jù)安全分析適用于很多用例，但也不是所有的用例都適用。考慮一下探測和阻擋 高持續(xù)性威脅(Advanced Persistent Threat，APT) 的技術(shù)挑戰(zhàn)。采用這些技術(shù)的攻擊者或許會采用慢節(jié)奏的、低可見性的攻擊方式來避免以避免被探測到。傳統(tǒng)的日志和監(jiān)控技術(shù)會漏過這種類型的攻擊。攻擊的各步可能發(fā)生在不同的設(shè)備的不同時間段，而且看起來是毫無關(guān)聯(lián)的。這樣，一個攻擊者殺招的關(guān)鍵部分可能與正常行為差別不大。針對可疑行為的日志和網(wǎng)絡(luò)流掃描有時也會漏掉這些東西。避免遺漏數(shù)據(jù)的一種方法就是收集盡可能多的信息。這就是大數(shù)據(jù)安全分析平臺所采用的方法。
正如字面意思所言，該安全分析的方法利用了專門為收集、分析和管理大規(guī)模、高速度數(shù)據(jù)而設(shè)計的工具。這些技術(shù)也同樣用于相關(guān)產(chǎn)品，如針對流視頻用戶的電影推薦系統(tǒng)和為優(yōu)化車隊的運輸效率而設(shè)計的車輛性能特性分析平臺等。此外，這些技術(shù)還可以應(yīng)用于信息安全。本文重點分析Cybereason、Fortscale、Hawkeye、IBM、LogRhythm、RSA和Splunk等若干大數(shù)據(jù)安全工具供應(yīng)商的最主要的產(chǎn)品特性。其分析主要依據(jù)實現(xiàn)這些平臺所有好處的五大必需要素：
統(tǒng)一的數(shù)據(jù)管理
支持日志、漏洞和流等多種數(shù)據(jù)類型
可擴展的數(shù)據(jù)獲取
信息安全相關(guān)的分析工具
合規(guī)報告
因素1：統(tǒng)一的數(shù)據(jù)管理
統(tǒng)一的數(shù)據(jù)管理是一個大數(shù)據(jù)安全分析系統(tǒng)的基礎(chǔ)，負責(zé)存儲和查詢企業(yè)數(shù)據(jù)。由于關(guān)聯(lián)數(shù)據(jù)庫在擴展時比分布式NoSQL數(shù)據(jù)庫代價要高，處理大規(guī)模數(shù)據(jù)通常會使用Cassandra 或 Accumulo 等這樣的分布式數(shù)據(jù)庫。當然，這些數(shù)據(jù)庫也其缺點。例如，實現(xiàn)ACID transaction等這些理所當然存在的數(shù)據(jù)庫特征的分布式版本就變得非常困難。
因此，大數(shù)據(jù)安全分析產(chǎn)品背后的數(shù)據(jù)管理平臺需要在數(shù)據(jù)管理特性和代價、可擴展性之間進行權(quán)衡。數(shù)據(jù)庫應(yīng)該具備在不阻塞的情況下實時寫入新數(shù)據(jù)的能力。相似的，查詢也要能夠支持針對流入的安全數(shù)據(jù)的實時分析。
由于 Hadoop 已經(jīng)成為流行的大數(shù)據(jù)管理平臺和相關(guān)的生態(tài)系統(tǒng)，采用它作基礎(chǔ)的大數(shù)據(jù)安全分析平臺也很常見。例如， Fortscale 就使用了Cloudera的Hadoop平臺。這使得Fortscale平臺可以隨著集群中新加入節(jié)點的數(shù)量而線性擴展。
IBM的QRadar使用了提供數(shù)據(jù)存儲水平擴展功能的分布式數(shù)據(jù)管理系統(tǒng)。在一些情況下，SIEM或許只需要訪問本地數(shù)據(jù)。但是，在取證分析等情況下，用戶或許需要跨分布式平臺搜索信息。IBM的QRadar還集成了一個能夠跨平臺或本地檢索的搜索引擎。同時，該大數(shù)據(jù)SIEM系統(tǒng)使用的是數(shù)據(jù)節(jié)點，而非存儲域網(wǎng)(SAN)。這可以幫組減少花費和管理復(fù)雜度。這個基于數(shù)據(jù)節(jié)點的分布式存儲模型可以擴展到P字節(jié)的存儲空間——可以很好滿足那些需要很多大規(guī)模長期存儲的組織的需求。
RSA安全分析也采用了分布式的聯(lián)合架構(gòu)來保證線性擴展。當擴展到大規(guī)模數(shù)據(jù)時，RSA工具中的分析工作流解決了一個關(guān)鍵需求：區(qū)分事件和任務(wù)的優(yōu)先級，以改善分析的效率。
Hawkeye分析平臺(Hawkeye AP) 是基于一個專門處理安全事件數(shù)據(jù)的數(shù)據(jù)倉庫平臺構(gòu)建而成。除了擁有底層、可擴展的數(shù)據(jù)管理(例如，在跨多個服務(wù)器的鍍鉻文件中存儲大規(guī)模數(shù)據(jù)的能力)功能，擁有以結(jié)構(gòu)化的方式查詢數(shù)據(jù)的工具也很關(guān)鍵。Hawkeye AP采用了分時存儲數(shù)據(jù)的方式，避免了全局重建索引的工作。而且，它被設(shè)計為了只讀的數(shù)據(jù)庫。一方面，它使能了性能優(yōu)化;另一個更重要方面，它可以保證數(shù)據(jù)在寫完成后不會被篡改。最后，Hawkeye AP采用了專門針對分析應(yīng)用有所優(yōu)化的列導(dǎo)向數(shù)據(jù)存儲 ，而非行導(dǎo)向的存儲。
因素2：支持多種數(shù)據(jù)類型
容量、速度和種類是大數(shù)據(jù)的三個關(guān)鍵特性。安全事件數(shù)據(jù)的多樣性使得把數(shù)據(jù)集成到一個大數(shù)據(jù)安全分析產(chǎn)品變得富有挑戰(zhàn)性。
事件數(shù)據(jù)的收集粒度是不同的。例如，網(wǎng)絡(luò)報文就是底層、細粒度的數(shù)據(jù);而有關(guān)任何管理員密碼變化的日志項就是粗粒度的。盡管數(shù)據(jù)的收集粒度不同，他們之間仍然是有關(guān)聯(lián)的。網(wǎng)絡(luò)報文就可能包含了攻擊者訪問服務(wù)器，甚至在取得訪問權(quán)限后修改管理員密碼的相關(guān)信息。
不同類型的事件數(shù)據(jù)的含義也各不相同。網(wǎng)絡(luò)報文信息可以幫助分析人員了解兩個終端之間傳輸?shù)膬?nèi)容，而一份漏斗掃描日志在某種意義上描述了服務(wù)器或其他設(shè)備在一段時間內(nèi)的運行狀態(tài)。大數(shù)據(jù)安全分析平臺需要理解這些數(shù)據(jù)類型的含義，以更好的進行數(shù)據(jù)集成。
RSA Security Analytics 的解決辦法是采用一個模塊化的結(jié)構(gòu)，以此保證在維持增量添加其他源的能力的同時，支持多種數(shù)據(jù)類型。平臺本身是為了捕獲大規(guī)模的滿報文、NetFlow數(shù)據(jù)、末端數(shù)據(jù)和日志。
有時，多個數(shù)據(jù)類型就意味著多種安全工具。例如，IBM的QRadar就有一個漏洞管理組件。該組件專門負責(zé)從各種各樣的漏洞掃描器中整合數(shù)據(jù)，并把網(wǎng)絡(luò)使用相關(guān)的信息添加到數(shù)據(jù)中。IBM的Security QRadar Incident Forensics是另外一個專門利用網(wǎng)絡(luò)流數(shù)據(jù)和full-packet抓包來分析安全事故的模塊。該取證工具包括了一個能夠?qū)B級別的網(wǎng)絡(luò)數(shù)據(jù)進行檢索的引擎。
LogRhythm的Security Intelligence Platform 是另外一個大數(shù)據(jù)安全分析平臺的例子。該平臺支持非常多的數(shù)據(jù)類型，包括系統(tǒng)日志、安全事件、審計日志、機器數(shù)據(jù)、應(yīng)用日志以及流數(shù)據(jù)。通過分析來自這些源的原始數(shù)據(jù)，它可以產(chǎn)生有關(guān)文件完整性、進程活躍度、網(wǎng)絡(luò)通信情況、用戶以及活動的二級數(shù)據(jù)。
Splunk Enterprise Security允許分析人員檢索數(shù)據(jù)并執(zhí)行可視化關(guān)聯(lián)，以此識別惡意事件和收集有關(guān)這些事件上下文的數(shù)據(jù)。
因素3：可擴展的數(shù)據(jù)獲取
大數(shù)據(jù)分析安全產(chǎn)品必須要能夠從服務(wù)器、終端、網(wǎng)絡(luò)和其他架構(gòu)組件中獲得數(shù)據(jù)。這些設(shè)備的狀態(tài)是一直都在發(fā)生變化的。數(shù)據(jù)獲取組件的主要風(fēng)險在于它是否能夠及時接收流入的數(shù)據(jù)。一旦數(shù)據(jù)獲取組件出現(xiàn)問題，數(shù)據(jù)就會丟失，威脅到整個平臺的存在意義。
系統(tǒng)可以通過維護一個容量很大、吞吐率很高的隊列來實現(xiàn)可擴展的數(shù)據(jù)獲取。此外，一些數(shù)據(jù)庫通過對寫操作只追加的方法來支持大規(guī)模寫。這樣，新流入的數(shù)據(jù)直接添加到commit日志的末尾，而非磁盤的某個塊。該方法可以大大減少隨機寫操作的延遲。或者，數(shù)據(jù)管理系統(tǒng)會維護一個寫緩沖區(qū)。如果消息出現(xiàn)突發(fā)傳輸或者磁盤出現(xiàn)寫失效，緩沖區(qū)可以幫助暫時存儲數(shù)據(jù)，等待數(shù)據(jù)庫恢復(fù)正常。
Splunk是一個廣為人知的數(shù)據(jù)獲取平臺。該平臺不僅提供了連接到數(shù)據(jù)源的連接器，還允許定制這些連接器。其中，獲取后的數(shù)據(jù)以比較松散的形式進行存儲和索引，以保證支持變化的數(shù)據(jù)類型和快速的查詢反饋。
IBM QRadar支持從單設(shè)備到跨地域的分布式系統(tǒng)的不同規(guī)模的部署。與其他產(chǎn)品類似，該大數(shù)據(jù)產(chǎn)品是為了滿足大公司的需求。它曾被用于處理每秒鐘幾十萬的真實應(yīng)用事件。一些小的機構(gòu)或剛開始使用IBM QRadar的企業(yè)或許會選擇在云環(huán)境中部署該產(chǎn)品，以減少硬件開銷和管理。混合部署也是可以的。這樣，事件和流或許在云端處理，而整理后的事件數(shù)據(jù)發(fā)送會本地系統(tǒng)進行處理。
另外一個重要的整合類型就是 數(shù)據(jù)增強 。它是指在收集事件數(shù)據(jù)的同時，把相關(guān)的信息也一并添加進去。例如，RSA Security Analytics就會把有關(guān)網(wǎng)絡(luò)回話、威脅指示器等細節(jié)添加到網(wǎng)絡(luò)數(shù)據(jù)中，幫助分析人員更好的理解底層安全數(shù)據(jù)所面臨的情況。
一個大數(shù)據(jù)分析平臺如何收集收據(jù)是另外一個要考慮的關(guān)鍵點。收集數(shù)據(jù)所需要的時間使得探測安全事件的速度可以有所放緩。數(shù)據(jù)收集點的位置決定了它所收集的數(shù)據(jù)的寬度和類型。例如， Cybereason Platform 部署的傳感器就運行在終端操作系統(tǒng)的用戶空間。這樣，數(shù)據(jù)收集就可以在影響用戶體驗和更底層內(nèi)核功能的情況下進行。即使是在設(shè)備無法連接企業(yè)網(wǎng)絡(luò)時，Cybereason的傳感器仍然可以收集數(shù)據(jù)。
因素4：安全分析工具
Hadoop和 Spark 等大數(shù)據(jù)平臺都是通用型的工具。盡管它們可以被用于構(gòu)建安全工具，它們本身并不是 安全分析工具 。大數(shù)據(jù)安全分析工具應(yīng)該能夠擴展，以滿足企業(yè)所產(chǎn)生的大規(guī)模數(shù)據(jù)的分析需求。而Hadoop和Spark等這樣的工具正好滿足了這樣的條件。同時，分析人員也應(yīng)該能夠以信息安全的角度所應(yīng)該取得的抽象層次來查詢事件數(shù)據(jù)。例如，一個分析人員應(yīng)該能夠查詢工作在特定服務(wù)器或應(yīng)用的用戶的聯(lián)系以及這些機器/應(yīng)用之間的聯(lián)系。這種類型的查詢就需要圖型分析工具，而非傳統(tǒng)的關(guān)聯(lián)數(shù)據(jù)庫中的行查詢或列查詢。
Fortscale采用了數(shù)據(jù)科學(xué)中常見的機器學(xué)習(xí)和統(tǒng)計分析技術(shù)，以適應(yīng)安全環(huán)境中的變化。這些技術(shù)使得Fortscale可以執(zhí)行基于數(shù)據(jù)而非預(yù)定義規(guī)則的分析。當網(wǎng)絡(luò)中的基準行為發(fā)生變化時， 機器學(xué)習(xí) 算法可以在沒有人為更新規(guī)則集的情況下自動探測到這些變化。
RSA Security Analytics包括了預(yù)定義的報告和規(guī)則，使得分析人員可以很快開始使用SIEM收集到的數(shù)據(jù)。
安全分析也同樣非常依賴惡意行為相關(guān)的知識。RSA Security Analytics包括的RSA Live服務(wù)負責(zé)將數(shù)據(jù)處理和關(guān)聯(lián)規(guī)則發(fā)送到部署的設(shè)備中。這些新的規(guī)則可被用于分析剛到達的實時數(shù)據(jù)和存儲在RSA Security Analytics系統(tǒng)的歷史數(shù)據(jù)。與Fortscale類似，RSA Security Analytics也采用了數(shù)據(jù)科學(xué)的相關(guān)技術(shù)來增強分析的質(zhì)量。
此外，LogRhythm的分析工作流包括了處理、機器分析和取證分析三個階段。處理階段負責(zé)數(shù)據(jù)轉(zhuǎn)換，提高原始數(shù)據(jù)被有用的模式探測到的可能性。它包括了事件標準化、數(shù)據(jù)分類、 metadata 標記和風(fēng)險上下文分析。
因素5：合規(guī)報告、警告和監(jiān)控
合規(guī)報告是當今企業(yè)所必須要具備的功能。很多用于合規(guī)目的的數(shù)據(jù)元素都和最好的安全實踐綁定在一起。甚至對于那些對合規(guī)報告沒有硬性需求的公司而言，合規(guī)報告也可以很好的用于內(nèi)部規(guī)劃。。了解一個大數(shù)據(jù)安全平臺的報告制度滿足了企業(yè)對于合規(guī)方面的特殊需求，是非常重要的。
IBM Security QRadar的Risk Manager插件提供了網(wǎng)絡(luò)設(shè)備配置的合規(guī)及風(fēng)險管理的工具。該插件的功能包括自動監(jiān)控、多供應(yīng)商產(chǎn)品審計的支持、合規(guī)策略評估以及威脅建模。
就像之前所提到的，F(xiàn)ortscale使用機器學(xué)習(xí)算法來不斷評估基準活動的變化和探測異常事件。當系統(tǒng)探測到這些事件時，它可以生成警告，并提供事件的相關(guān)信息。
為了節(jié)約終端用戶的時間，RSA Security Analytics本身就帶有近90種模板，以滿足SOX、HIPAA、PCI DSS等的報告需求。
SIEM系統(tǒng)中的報告和警告遠遠超過了固定報告和簡單警告的形式。例如，Cybereason Platform就可以自動探測惡意活動。該平臺還提供了一個調(diào)查窗口，用來將攻擊時間線、受影響的用戶和設(shè)備等信息匯總并以圖形的方式展示出來。
Splunk Enterprise Security提供了包含關(guān)鍵安全和性能指針以及趨勢指針的儀表盤，以進行不間斷的監(jiān)控。而且該平臺還支持工作流的優(yōu)先級。Splunk平臺還支持高優(yōu)先級用戶的追蹤和關(guān)鍵應(yīng)用程序的訪問報告。
Hawkeye AP本身包含了400種報告，而且支持根據(jù)特殊需求進行修改。由于Hawkeye AP使用關(guān)聯(lián)數(shù)據(jù)技術(shù)，并支持ANSI Standard SQL、ODBC和JDBC驅(qū)動，用戶可以可以使用流行的企業(yè)級報告工具來創(chuàng)建定制化的報告。
LogRhythm的平臺包括了分級后的風(fēng)險的警告、標準報告和一個實時的報告儀表盤。而且，它還包括了案例管理工具、證據(jù)鎖以及事件追蹤數(shù)據(jù)等額外工具用于取證分析。
大數(shù)據(jù)安全分析工具的功能
大數(shù)據(jù)安全分析工具可以分析很多種的數(shù)據(jù)類型，也可以處理大規(guī)模的數(shù)據(jù)。當然，并非所有的機構(gòu)都需要用到當前大數(shù)據(jù)安全分析產(chǎn)品的所有功能。但是，正在尋找保護企業(yè)數(shù)據(jù)安全工具的機構(gòu)應(yīng)該考慮大數(shù)據(jù)安全分析工具所能扮演的角色。
對于大企業(yè)和需要存儲詳細的事件數(shù)據(jù)的企業(yè)，IBM QRadar是一個不錯的選擇。該平臺能夠擴展到P字節(jié)規(guī)模的能力將會是一個很大的亮點。Hawkeye的數(shù)據(jù)倉庫模型和列導(dǎo)向存儲使得它能夠針對信息安全進行商業(yè)智能的報告。這樣，當企業(yè)需要高級報告或者定制化的報告時，Hawkeye AP就是一個很好的選擇。而當企業(yè)需要在設(shè)備離線的情況下繼續(xù)捕獲事件數(shù)據(jù)時，它可以考慮Cybereason。此外，RSA Security Analytics和LogRhythm's Security Intelligence Platform可以很好的配合來處理很多數(shù)據(jù)類型的情況。Splunk提供了大量的數(shù)據(jù)源連接器，可以很好滿足擁有大量數(shù)據(jù)源的企業(yè)的需求。
大數(shù)據(jù)安全分析目前主要被大企業(yè)所采用。但是，隨著相關(guān)工具的花費和復(fù)雜度不斷降低，中等規(guī)模的企業(yè)、甚至小企業(yè)最后也肯定會意識到該技術(shù)的好處。
京公網(wǎng)安備 11010502049343號