基于大數(shù)據(jù)的安全分析在國(guó)內(nèi)已經(jīng)火了一段時(shí)間，不同行業(yè)都在這方面有不少的投入，自建的大數(shù)據(jù)安全平臺(tái)項(xiàng)目也屢見不鮮。具體有多少會(huì)如Gartner的分析師Anton Chuvakin認(rèn)為的那樣，大概率歸于失敗(Why Your Security Data Lake Project Will FAIL：

這是我們無法知道的。但是否有一條穩(wěn)妥、堅(jiān)實(shí)的路徑可以到達(dá)目標(biāo)，也許更值得討論。

需要思考的問題

在曾經(jīng)由被動(dòng)防御主導(dǎo)的建設(shè)階段里，企業(yè)采購(gòu)了很多防御性安全產(chǎn)品(FW、IPS、WAF、漏洞掃描等)，其目的更多的是防御或加固自身。威脅態(tài)勢(shì)的發(fā)展告訴企業(yè)，當(dāng)前已經(jīng)不能一味的停留在這個(gè)階段。持續(xù)投資在防御上，不斷加高水桶的木板高度并不是最經(jīng)濟(jì)、最有效的策略，蓄意的攻擊者總是能夠發(fā)現(xiàn)新的攻擊面，進(jìn)入到企業(yè)內(nèi)部。如何能夠盡早的發(fā)現(xiàn)這種有效滲透攻擊，進(jìn)行響應(yīng)分析、及時(shí)處理并進(jìn)一步有針對(duì)性的彌補(bǔ)防御的短板，這些將成為組織面對(duì)的新目標(biāo)。此時(shí)大家注意到大數(shù)據(jù)這顆冉冉上升的新星，就把希望寄托在這上面。不可否認(rèn)，數(shù)據(jù)驅(qū)動(dòng)確實(shí)是新時(shí)期安全建設(shè)的一個(gè)關(guān)鍵因素，但我們也需要認(rèn)識(shí)到，這種從單純防御向防御、檢測(cè)、響應(yīng)、預(yù)防全周期轉(zhuǎn)變的過程，涉及到數(shù)據(jù)、工具和使用工具的人三方面的提升，是個(gè)相對(duì)復(fù)雜的系統(tǒng)工程。必須理清幾方面的問題：

要監(jiān)控的關(guān)鍵威脅是什么?涉及的分析方法有哪些、這些分析方法又需要哪些數(shù)據(jù)?需要什么樣的平臺(tái)系統(tǒng)來支持分析工作，平臺(tái)選擇的關(guān)鍵能力指標(biāo)有哪些?現(xiàn)有技術(shù)能力下建立起的平臺(tái)，適合怎樣的人來使用，是否已經(jīng)具備這樣的人員，是否能夠·購(gòu)買相應(yīng)的安全服務(wù)?采集數(shù)據(jù)和人員水平受限情況下，如何選擇切實(shí)的目標(biāo)保障有實(shí)際的效果?

在實(shí)際工作中，對(duì)這幾方面的認(rèn)識(shí)往往需要一個(gè)實(shí)踐摸索的過程，難以做到一步到位，就如Facebook就在數(shù)據(jù)平臺(tái)上有過不斷的摸索過程(It’s Time to Stop Using Hadoop for Analytics：因此分階段實(shí)施，由易到難也許是一個(gè)更好的方式。下面介紹可能涉及到的幾個(gè)階段，在實(shí)際工作中也許可以多個(gè)階段并行，但應(yīng)該很難出現(xiàn)跳躍式的發(fā)展。

IOC情報(bào)階段

質(zhì)量?jī)?yōu)秀的IOC情報(bào)(也稱失陷主機(jī)檢測(cè)情報(bào))具有及時(shí)、全面、精準(zhǔn)、具備相關(guān)性且提供指導(dǎo)響應(yīng)活動(dòng)的上下文這些特點(diǎn)。利用這類情報(bào)我們能夠盡早地檢測(cè)內(nèi)部的失陷主機(jī)(無論來自情報(bào)機(jī)關(guān)、網(wǎng)絡(luò)犯罪團(tuán)伙或者網(wǎng)絡(luò)恐怖主義團(tuán)體)，并且基于情報(bào)的上下文(攻擊團(tuán)伙、惡意類型、目的、危害等)確定合理的優(yōu)先級(jí)，及時(shí)的給予響應(yīng)處置。

利用這種失陷IOC進(jìn)行檢測(cè)發(fā)現(xiàn)，對(duì)組織的數(shù)據(jù)采集要求較低(一般就是HTTP 代理日志、DNS日志或者較完整的流量日志);而一旦發(fā)現(xiàn)失陷主機(jī)，利用情報(bào)信息可以較容易的進(jìn)行優(yōu)先級(jí)排序、響應(yīng)方案選擇等工作(情報(bào)的上下文會(huì)清楚地告訴安全響應(yīng)人員，這是一個(gè)針對(duì)個(gè)人用戶的網(wǎng)銀木馬，或者是一個(gè)具有定向性質(zhì)的竊密木馬，又或者只是一個(gè)黑客用來進(jìn)行DDoS攻擊的僵尸網(wǎng)絡(luò))，因此它對(duì)于大多數(shù)組織而言，是一個(gè)相對(duì)容易而又實(shí)實(shí)在在的進(jìn)步。

利用成熟安全分析解決方案

利用IOC情報(bào)能力建設(shè)階段，可以在數(shù)據(jù)積累、安全響應(yīng)分析方面積累一定的能力，獲得相應(yīng)的經(jīng)驗(yàn)，再進(jìn)一步就向前深入，就是利用較好的產(chǎn)品或解決方案來實(shí)現(xiàn)一些典型場(chǎng)景下的安全分析工作，這樣做的好處是聚焦問題的解決、有機(jī)會(huì)學(xué)習(xí)到業(yè)界成熟的經(jīng)驗(yàn)并且免于將自己陷入到工程開發(fā)細(xì)節(jié)的泥潭中。

這里面講的較好，有兩個(gè)層次：

內(nèi)置典型的分析場(chǎng)景：每個(gè)場(chǎng)景需要包括怎樣發(fā)現(xiàn)線索、怎樣排查確認(rèn)、如何確定攻擊范圍和性質(zhì)這些基本的步驟，簡(jiǎn)單的說它就是將資深分析師的工作經(jīng)驗(yàn)集成到了產(chǎn)品當(dāng)中，使安全運(yùn)維人員在產(chǎn)品的引導(dǎo)下可以逐步學(xué)習(xí)、探索安全分析的世界。進(jìn)一步提供基于線索的優(yōu)先級(jí)排序：線索不是真正的攻擊事件，線索排查中會(huì)有一些對(duì)于組織的環(huán)境而言是不需要特別注意的，因此如果能基于一定的方式(規(guī)則組合、ML、貝葉斯算法)對(duì)不同線索出現(xiàn)后，標(biāo)識(shí)出線索聚合的風(fēng)險(xiǎn)程度，這對(duì)于分析人員無疑是非常有價(jià)值的。可以直接聚焦到高危報(bào)警。

這兩個(gè)層面可以說對(duì)應(yīng)這安全分析的兩代產(chǎn)品，第一代中的典型代表是Splunk的企業(yè)安全應(yīng)用，而第二代則是Exabeam這樣的UEBA產(chǎn)品(之前介紹UEBA的一篇文章 [淺析UEBA]：組織基于自身關(guān)注的問題、數(shù)據(jù)能力以及人員水平，從某幾個(gè)典型威脅場(chǎng)景出發(fā)，選擇適合并有強(qiáng)擴(kuò)展性的產(chǎn)品，就可以進(jìn)行建立初步的平臺(tái)了。需考慮的是，解決某些問題的數(shù)據(jù)源，也許不是短時(shí)間就能采集到的，比如內(nèi)部沒有很成熟的出差審批流程和電子流，就難以將差旅信息作為UEBA的一個(gè)分析數(shù)據(jù)源，但成熟的產(chǎn)品會(huì)考慮這種情況下如何檢測(cè)和判定風(fēng)險(xiǎn)級(jí)別。

利用運(yùn)營(yíng)級(jí)威脅情報(bào)階段

安全是一個(gè)動(dòng)態(tài)的過程，即使在采購(gòu)階段選擇了較好的產(chǎn)品，但是針對(duì)新的攻擊方式我們還是需要建立新的分析場(chǎng)景，同時(shí)也包括一些關(guān)鍵威脅暫時(shí)沒有現(xiàn)成的分析場(chǎng)景可以覆蓋，也需要擴(kuò)展分析場(chǎng)景。這個(gè)過程就需要建立從運(yùn)營(yíng)級(jí)威脅情報(bào)(威脅相關(guān)的技術(shù)、方法、過程的情報(bào))到分析數(shù)據(jù)以及分析方法的映射。舉一個(gè)簡(jiǎn)單的例子：在2014年以前，可能很少有人會(huì)考慮分析Powershell日志的情況，并且也是Powershell 5.0才引入了增強(qiáng)日志功能，早期版本沒有太多的日志能力。

因此在平臺(tái)選型階段，需要考量產(chǎn)品/方案的開放性與可擴(kuò)展性，同時(shí)也需要考慮建立自身的運(yùn)營(yíng)級(jí)情報(bào)收集能力。對(duì)比IOC情報(bào)，運(yùn)營(yíng)層面的威脅情報(bào)，現(xiàn)階段市場(chǎng)上并沒有足夠成熟的產(chǎn)品生態(tài)圈。如何及時(shí)獲取到有效的運(yùn)營(yíng)級(jí)情報(bào)，如行業(yè)分享、國(guó)家層面的通報(bào)共享或商業(yè)來源，是這個(gè)階段的一個(gè)重點(diǎn)。而數(shù)據(jù)和工具方面應(yīng)該不再成為這個(gè)階段的重要挑戰(zhàn)。

自動(dòng)化階段

在整個(gè)安全分析平臺(tái)運(yùn)營(yíng)過程中，會(huì)發(fā)現(xiàn)其中很多工作是高度一致的重復(fù)勞動(dòng)，這種工作如何能夠自動(dòng)化進(jìn)行，就是這個(gè)階段考慮的事情。這里面就包括更智能的事件調(diào)查，以及自動(dòng)化的遏制(個(gè)人認(rèn)為不是清除)。到了這個(gè)數(shù)據(jù)、檢測(cè)能力、ML能力都比較成熟的階段，我們也許可以將一個(gè)攻擊可能的攻擊鏈、影響范圍通過自動(dòng)化方式給出大致的范圍，極大縮短分析人員的工作強(qiáng)度。也有可能基于成熟的處置流程，明確地知道哪類事件可以通過自動(dòng)化配置網(wǎng)絡(luò)和終端設(shè)備，達(dá)到自動(dòng)化遏制的目的。這樣可以讓安全運(yùn)營(yíng)人員從既有的、缺乏挑戰(zhàn)的工作中釋放出來。這個(gè)階段可以使重要安全事件的響應(yīng)時(shí)間和質(zhì)量有巨大的提升。

小結(jié)

大數(shù)據(jù)安全分析能力建設(shè)是一個(gè)分階段、逐步提升的過程，對(duì)于一些有實(shí)力的組織可以同時(shí)進(jìn)行多個(gè)階段的建設(shè)，但如果想一步到位無疑是不現(xiàn)實(shí)的。整個(gè)過程最關(guān)鍵的是問題思維：現(xiàn)階段要解決的問題是什么，深入思考這個(gè)問題才能設(shè)立合理的階段性目標(biāo)。威脅情報(bào)作為一條主線貫穿建設(shè)過程中，如果說數(shù)據(jù)是安全分析的基礎(chǔ)，那么情報(bào)則是它的靈魂。