毫無疑問，我們已經(jīng)進入了大數(shù)據(jù)（Big Data）時代。人類的生產(chǎn)生活每天都在產(chǎn)生大量的數(shù)據(jù)，并且產(chǎn)生的速度越來越快。根據(jù)IDC和EMC的聯(lián)合調(diào)查，到2020年全球數(shù)據(jù)總量將達到40ZB。
什么是大數(shù)據(jù)？大數(shù)據(jù)早就存在，只是一直沒有足夠的基礎(chǔ)實施和技術(shù)來對這些數(shù)據(jù)進行有價值的挖據(jù)。隨著存儲成本的不斷下降、以及分析技術(shù)的不斷進步，尤其是云計算的出現(xiàn)，不少公司已經(jīng)發(fā)現(xiàn)了大數(shù)據(jù)的巨大價值：它們能揭示其他手段所看不到的新變化趨勢，包括需求、供給和顧客習(xí)慣等等。比如，銀行可以以此對自己的客戶有更深入的了解，提供更有個性的定制化服務(wù)；銀行和保險公司可以發(fā)現(xiàn)詐騙和騙保；零售企業(yè)更精確探知顧客需求變化，為不同的細分客戶群體提供更有針對性的選擇；制藥企業(yè)可以以此為依據(jù)開發(fā)新藥，詳細追蹤藥物療效，并監(jiān)測潛在的副作用；安全公司則可以識別更具隱蔽性的攻擊、入侵和違規(guī)。
圖：硬盤每GB的成本變化（1980-2009年）【來源：http://www.mkomo.com/cost-per-gigabyte】
《華爾街日報》將大數(shù)據(jù)時代、智能化生產(chǎn)和無線網(wǎng)絡(luò)革命稱為引領(lǐng)未來繁榮的三大技術(shù)變革。麥肯錫公司的報告指出數(shù)據(jù)是一種生產(chǎn)資料，大數(shù)據(jù)是下一個創(chuàng)新、競爭、生產(chǎn)力提高的前沿。世界經(jīng)濟論壇的報告認定大數(shù)據(jù)為新財富，價值堪比石油。
不論從技術(shù)、還是商業(yè)角度，大數(shù)據(jù)都成為當下絕對的熱點。2013年，Gartner將大數(shù)據(jù)列為未來信息架構(gòu)發(fā)展的10大趨勢之首。Gartner預(yù)測將在2011年到2016年間累計創(chuàng)造2320億美元的產(chǎn)值。
大數(shù)據(jù)的定義
如何定義大數(shù)據(jù)？《大數(shù)據(jù)的沖擊》一書將大數(shù)據(jù)通俗定義為“用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合”，并廣義地定義為“一個綜合性概念，它包括因具備3V（海量/高速/多樣，Volume / Variety/Velocity）特征而難以進行管理的數(shù)據(jù)，對這些數(shù)據(jù)進行存儲、處理、分析的技術(shù)，以及能夠通過分析這些數(shù)據(jù)獲得實用意義和觀點的人才和組織。”
Gartner將大數(shù)據(jù)定義為“海量、高速、多變的信息資產(chǎn)，需要對它進行經(jīng)濟的、創(chuàng)新性的信息處理從而獲得超越以往的洞察力、決策支持能力和處理的自動化”（high volume, velocity and/or variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation）。
大數(shù)據(jù)的基本特征
大數(shù)據(jù)的三個公認的基本特點是3V，即海量、高速和多變。海量是指數(shù)據(jù)容量越來越大；高速表示需要處理的速度和響應(yīng)的時間越來越快，對系統(tǒng)的延時要求相當高；多變就要處理各種各樣類型的數(shù)據(jù)，包括結(jié)構(gòu)化的、半結(jié)構(gòu)化的、甚至是非結(jié)構(gòu)化的數(shù)據(jù)。
IBM在上述三個特點基礎(chǔ)之上增加了一個V（Veracity），即“真實性”、“準確性”。IBM認為只有真實而準確的數(shù)據(jù)才能讓對數(shù)據(jù)的管控和治理真正有意義。
此外，業(yè)界還有人總結(jié)出其它的大數(shù)據(jù)特點，例如低價值密度（Value）、存活性（Viability），等等。低價值密度是指大數(shù)據(jù)中真正有意義的信息含量比重低；存活性是指特定情況下的大數(shù)據(jù)具有很強的時效性。
大數(shù)據(jù)的研究概況
在IT領(lǐng)域，大數(shù)據(jù)也是最熱門的技術(shù)領(lǐng)域之一。Gartner在2012年繪制的Hype Cycle曲線展示出了當前大數(shù)據(jù)技術(shù)欣欣向榮的一番景象。
Gartner將大數(shù)據(jù)相關(guān)技術(shù)分為三個門類，分別是大數(shù)據(jù)支撐技術(shù)、大數(shù)據(jù)應(yīng)用技術(shù)和針對新型數(shù)據(jù)進行分析的技術(shù)。
我國工程院院士鄔賀銓將大數(shù)據(jù)技術(shù)從所面臨的挑戰(zhàn)的角度分為四個方面，分別是數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)可視化。
微軟張亞勤將大數(shù)據(jù)劃分為三個層次，分別是數(shù)據(jù)的管理、數(shù)據(jù)的擴充和數(shù)據(jù)的呈現(xiàn)。
IBM的Stephen Watt給出了一個大數(shù)據(jù)生態(tài)系統(tǒng)的模型，將大數(shù)據(jù)技術(shù)劃分為7個部分，包括數(shù)據(jù)產(chǎn)生、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)分享、數(shù)據(jù)檢索、數(shù)據(jù)分析、數(shù)據(jù)可視化，如下圖：
大數(shù)據(jù)需要數(shù)據(jù)分析師
以上所有針對大數(shù)據(jù)的定義和特點的闡述，都缺少一個重要的大數(shù)據(jù)組成要素——數(shù)據(jù)分析師（或者稱為數(shù)據(jù)科學(xué)家，Data Scientist）。在當前技術(shù)條件下，大數(shù)據(jù)分析的結(jié)果要想獲得最大程度的價值發(fā)揮需要借助專業(yè)的數(shù)據(jù)分析人員。
Natahn Yau首先提出“數(shù)據(jù)科學(xué)家就是能夠從大型數(shù)據(jù)集中析取出數(shù)據(jù)，并提供某些可供非數(shù)據(jù)專家使用的東西的人”?！陡２妓埂冯s志認為“數(shù)據(jù)科學(xué)家就是采用科學(xué)方法、運用數(shù)據(jù)挖掘工具尋找新的數(shù)據(jù)洞察的工程師”。《哈佛商業(yè)評論》將數(shù)據(jù)科學(xué)家列為二十一世紀最性感的職業(yè)。
這表明，大數(shù)據(jù)技術(shù)要發(fā)揮作用仍然需要人的參與，并且是專業(yè)的數(shù)據(jù)分析師的參與。
大數(shù)據(jù)安全分析
大數(shù)據(jù)分析的定義
大數(shù)據(jù)技術(shù)的核心就是大數(shù)據(jù)分析（Big Data Analysis）。一般地，人們將大數(shù)據(jù)分析定義為一組能夠高效存儲和處理海量數(shù)據(jù)、并有效達成多種分析目標的工具及技術(shù)的集合。
Gartner將大數(shù)據(jù)分析定義為追求顯露模式檢測和發(fā)散模式檢測，以及強化對過去未連接資產(chǎn)的使用的實踐和方法（the practices and technology used to pursue emerging and divergent pattern detection as well as enhance the use of previously disconnected information assets），意即一套針對大數(shù)據(jù)進行知識發(fā)現(xiàn)的方法。
通俗地講，大數(shù)據(jù)分析技術(shù)就是大數(shù)據(jù)的收集、存儲、分析和可視化的技術(shù)，是一套能夠解決大數(shù)據(jù)的4V（海量、高速、多變、低密度）問題，分析出高價值的信息的工具集合。
大數(shù)據(jù)分析的基本技術(shù)支撐
從技術(shù)支撐架構(gòu)的角度來看，大數(shù)據(jù)分析是一個軟件技術(shù)框架（Framework），主要包括以下能力：
1） 能夠處理特別巨大的數(shù)據(jù)集（Volume）
2） 提供極快的數(shù)據(jù)插入操作（Velocity）
3） 能夠操作多種數(shù)據(jù)類型（Variety）
4） 要支持實時數(shù)據(jù)分析和歷史數(shù)據(jù)分析
5） 提供多種數(shù)據(jù)分析方法/模型
6） 使用分布式并行處理機制（Volume & Velocity）
其中，大數(shù)據(jù)分析基本的特征就是這個軟件技術(shù)框架應(yīng)該具有一個分布式開發(fā)框架。這個分布式開發(fā)框架可以是開源的Hadoop，或者其它具有相似分布式并行計算能力的框架，能夠?qū)崿F(xiàn)Map/Reduce計算，能夠?qū)崿F(xiàn)分布式計算節(jié)點的統(tǒng)一調(diào)度和彈性部署?；谶@個分布式開發(fā)框架，實現(xiàn)海量數(shù)據(jù)的分布式采集、分布式存儲、分布式分析計算。
大數(shù)據(jù)分析的另一個技術(shù)支撐是海量數(shù)據(jù)的存儲技術(shù)。面對海量的數(shù)據(jù)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已然無法滿足需要，需要進行改進或者革新。大數(shù)據(jù)分析系統(tǒng)的軟件技術(shù)框架必然會使用某種分布式數(shù)據(jù)庫技術(shù)或者NoSQL（非關(guān)系型數(shù)據(jù)庫）技術(shù)。
此外，一個實用的大數(shù)據(jù)分析系統(tǒng)一般都要同時具備實時數(shù)據(jù)分析與歷史數(shù)據(jù)分析能力。要獲得歷史數(shù)據(jù)分析能力，通常就是借助分布式開發(fā)框架的Map/Reduce批處理計算來實現(xiàn)。當然，有的大數(shù)據(jù)歷史分析系統(tǒng)還具備交互式計算能力（例如Google Dremel），實現(xiàn)快速查詢。而要獲得實時數(shù)據(jù)分析能力，分布式開發(fā)框架及其Map/Reduce計算模型就顯得力不從心了。這時候需要一個實時的流數(shù)據(jù)處理引擎，通常是采用CEP（Complex Event Processing，復(fù)雜事件處理）或者ESP（Event Stream Processing，事件流處理）技術(shù)的流數(shù)據(jù)處理引擎。
綜上所述，從開發(fā)者的角度來看，大數(shù)據(jù)分析的底層技術(shù)支撐包括三個：
1） 分布式計算框架（例如Hadoop，或者其他具有Map/Reduce機制的計算框架）
2） 分布式存儲機制（例如分布式數(shù)據(jù)庫、HDFS、NoSQL）
3） 流式計算框架（例如CEP、ESP）
從大數(shù)據(jù)分析到大數(shù)據(jù)安全分析
當前網(wǎng)絡(luò)與信息安全領(lǐng)域，正在面臨多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構(gòu)日趨復(fù)雜，各種類型的安全數(shù)據(jù)越來越多，傳統(tǒng)的分析能力明顯力不從心；另一方面，新型威脅的興起，內(nèi)控與合規(guī)的深入，傳統(tǒng)的分析方法存在諸多缺陷，越來越需要分析更多的安全信息、并且要更加快速的做出判定和響應(yīng)。信息安全也面臨大數(shù)據(jù)帶來的挑戰(zhàn)。
安全數(shù)據(jù)的大數(shù)據(jù)化主要體現(xiàn)在以下三個方面：
1） 數(shù)據(jù)量越來越大：網(wǎng)絡(luò)已經(jīng)從千兆邁向了萬兆，網(wǎng)絡(luò)安全設(shè)備要分析的數(shù)據(jù)包數(shù)據(jù)量急劇上升。同時，隨著NGFW的出現(xiàn)，安全網(wǎng)關(guān)要進行應(yīng)用層協(xié)議的分析，分析的數(shù)據(jù)量更是大增。與此同時，隨著安全防御的縱深化，安全監(jiān)測的內(nèi)容不斷細化，除了傳統(tǒng)的攻擊監(jiān)測，還出現(xiàn)了合規(guī)監(jiān)測、應(yīng)用監(jiān)測、用戶行為監(jiān)測、性能檢測、事務(wù)監(jiān)測，等等，這些都意味著要監(jiān)測和分析比以往更多的數(shù)據(jù)。此外，隨著APT等新型威脅的興起，全包捕獲技術(shù)逐步應(yīng)用，海量數(shù)據(jù)處理問題也日益凸顯。
2） 速度越來越快：對于網(wǎng)絡(luò)設(shè)備而言，包處理和轉(zhuǎn)發(fā)的速度需要更快；對于安管平臺、事件分析平臺而言，數(shù)據(jù)源的事件發(fā)送速率（EPS，Event per Second，事件數(shù)每秒）越來越快。
3） 種類越來越多：除了數(shù)據(jù)包、日志、資產(chǎn)數(shù)據(jù)，還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應(yīng)用信息、業(yè)務(wù)信息、外部情報信息等。
于是，業(yè)界出現(xiàn)了將大數(shù)據(jù)分析技術(shù)應(yīng)用于信息安全的技術(shù)——大數(shù)據(jù)安全分析 （Big Data Security Analysis，簡稱BDSA），也有人稱做大安全數(shù)據(jù)分析（Big Security Data Analysis）。兩者盡管表述有差異，但內(nèi)涵一致。前者強調(diào)基于大數(shù)據(jù)技術(shù)的安全分析，分析安全問題；后者強調(diào)大數(shù)據(jù)分析的對象是安全數(shù)據(jù)。
在網(wǎng)絡(luò)安全領(lǐng)域，大數(shù)據(jù)安全分析將包括以下幾個應(yīng)用領(lǐng)域：
1） 安全事件管理和安全管理平臺：這將是大數(shù)據(jù)安全分析的核心應(yīng)用，也被稱作安全分析平臺（Security Analytics Platform），后文將詳述。
2） APT檢測，包括全包捕獲技術(shù)
3） 0day惡意代碼分析，包括沙箱技術(shù)
4） 網(wǎng)絡(luò)取證分析
5） 網(wǎng)絡(luò)異常流量檢測
6） 大規(guī)模用戶行為分析
7） 安全情報分析
8） 信譽服務(wù)
9） 代碼安全分析
2012年3月，Gartner發(fā)表了一份題為《Information Security Is Becoming a Big Data Analytics Problem》的報告，表示信息安全問題正在變成一個大數(shù)據(jù)分析問題，大規(guī)模的安全數(shù)據(jù)需要被有效地關(guān)聯(lián)、分析和挖掘，并預(yù)測未來將出現(xiàn)安全分析平臺，以及部分企業(yè)在未來五年將出現(xiàn)一個新的崗位——“安全分析師”或“安全數(shù)據(jù)分析師”。
對于大數(shù)據(jù)安全分析而言，最關(guān)鍵的不在于大數(shù)據(jù)本身，而在于對這些數(shù)據(jù)的分析方法。大數(shù)據(jù)安全分析可以用到大數(shù)據(jù)分析的所有普適性的方法和技術(shù)，但當應(yīng)用到網(wǎng)絡(luò)安全領(lǐng)域的時候，還必須考慮到安全數(shù)據(jù)自身的特點和安全分析的目標，這樣大數(shù)據(jù)安全分析的應(yīng)用才更有價值。例如，在進行異常行為分析，或者惡意代碼分析和APT攻擊分析的時候，分析模型才是最重要的。其次，才是考慮如何利用大數(shù)據(jù)分析技術(shù)（例如并行計算、實時計算、分布式計算）來實現(xiàn)這個分析模型。
基于大數(shù)據(jù)分析技術(shù)的安全管理平臺
安全管理平臺呼喚大數(shù)據(jù)分析
在所有網(wǎng)絡(luò)安全領(lǐng)域中，大數(shù)據(jù)分析對安全管理平臺（SOC平臺）及安全信息與事件分析（SIEM）系統(tǒng)的影響最為深遠。這也是與它們先天的大數(shù)據(jù)分析特質(zhì)密切相關(guān)的。
安全管理平臺，有的也稱作SOC（Security Operations Center，安全運營中心）平臺，一般是指以資產(chǎn)為核心，以安全事件管理為關(guān)鍵流程，采用安全域劃分的思想，建立一套實時的資產(chǎn)風(fēng)險模型，協(xié)助管理員進行事件分析、風(fēng)險分析、預(yù)警管理和應(yīng)急響應(yīng)處理的集中安全管理系統(tǒng)。
安全管理平臺的核心之一便是安全信息與事件管理，也稱作SIEM（Security Information and Event Management）系統(tǒng)。通常，SIEM為來自企業(yè)和組織中所有IT資源（包括網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用）產(chǎn)生的安全信息（包括日志、告警等）進行統(tǒng)一的實時監(jiān)控、歷史分析，對來自外部的入侵和內(nèi)部的違規(guī)、誤操作行為進行監(jiān)控、審計分析、調(diào)查取證、出具各種報表報告，實現(xiàn)IT資源合規(guī)性管理的目標，同時提升企業(yè)和組織的安全運營、威脅管理和應(yīng)急響應(yīng)能力。
下圖顯示了一個典型的SIEM系統(tǒng)的結(jié)構(gòu)圖：
由圖可知，一般的SIEM系統(tǒng)都具有安全事件（日志）的采集、范化、存儲、分析、展示等幾個過程，而這與大數(shù)據(jù)分析的收集、存儲、分析和可視化過程是完全相同的。因此，SIEM天然具有應(yīng)用大數(shù)據(jù)分析技術(shù)的特質(zhì)。
安全管理平臺是在SIEM系統(tǒng)的基礎(chǔ)上，對采集的數(shù)據(jù)進行了大規(guī)模的擴充，并增加了分析模型，實現(xiàn)了基于風(fēng)險的資產(chǎn)和業(yè)務(wù)的集中安全管理。
安全管理平臺的核心是多樣化的安全要素信息采集與存儲、多種安全分析與展示。而這與大數(shù)據(jù)分析的特征也是完全吻合的。
當前，安全管理平臺的一個重要發(fā)展趨勢就是采集的安全數(shù)據(jù)種類越來越多，不僅包括傳統(tǒng)的資產(chǎn)信息、事件信息，還納入了漏洞信息、性能信息、流量信息、配置信息、業(yè)務(wù)信息等等。與此同時，安全數(shù)據(jù)的產(chǎn)生速率和總量也急速增長。大型企業(yè)越來越傾向于采用集中化的安全管理平臺構(gòu)建模式，單一管理平臺就要管理全網(wǎng)的安全信息，安全事件產(chǎn)生的速率達到上萬EPS，甚至是上10萬EPS，每天存儲的事件量則達到上百GB，甚至是上TB。另一方面，用戶需要安全管理平臺提供更加精準的安全分析研判和問題定位，更加快速的安全應(yīng)急響應(yīng)與處置，對安全分析的準確性和分析結(jié)論價值度的要求越來越高。這一切都促使安全管理平臺的技術(shù)開發(fā)者求助于大數(shù)據(jù)分析技術(shù)。
大數(shù)據(jù)安全分析首選安全管理平臺
SANS在2013年9月份發(fā)布的《安全分析調(diào)查》報告顯示，客戶進行大數(shù)據(jù)安全分析的時候，首選的是日志管理、SIEM等安全管理平臺類系統(tǒng)。并且，超過60%的受訪客戶表示未來實現(xiàn)安全分析目標的首要投資對象是SIEM。
由此可見，目前來說，在所有大數(shù)據(jù)安全分析的應(yīng)用領(lǐng)域中，SIEM及其安全管理平臺是最重要的。
應(yīng)該說，大數(shù)據(jù)分析技術(shù)并不能保證安全管理平臺能夠應(yīng)對上述挑戰(zhàn)，但卻給安全管理平臺應(yīng)對這些挑戰(zhàn)提供了全新的技術(shù)思路和發(fā)展模式。當安全管理平臺遇上大數(shù)據(jù)分析，讓用戶和開發(fā)者看到了安全管理平臺未來技術(shù)發(fā)展的一個全新方向。
基于大數(shù)據(jù)安全分析技術(shù)的安全管理平臺基本特征
基于大數(shù)據(jù)安全分析技術(shù)的安全管理平臺具有以下顯著特征：
1） Velocity：高速日志采集能力、高速事件分析能力；
2） Variety：支持多種日志源和日志類型，并支持對半結(jié)構(gòu)化（例如原始數(shù)據(jù)報文、郵件、WEB請求與響應(yīng)）和非結(jié)構(gòu)化信息（例如可疑代碼）的采集，具備異構(gòu)數(shù)據(jù)間的關(guān)聯(lián)分析（即情境關(guān)聯(lián)）能力；
3） Volume：海量的事件存儲能力、海量數(shù)據(jù)分析能力；
4） valuablity：分析研判的結(jié)果是真正有價值的信息、值得去關(guān)注的信息，是可以用于輔助決策的信息。這就意味著需要有效的數(shù)據(jù)分析方法和工具；
5） Visualization：安全分析結(jié)果的可視化呈現(xiàn)能力。
必須至少同時滿足上述5V，才能將一個安全管理平臺稱為基于大數(shù)據(jù)安全分析技術(shù)的安全管理平臺。
基于大數(shù)據(jù)分析的新一代安全管理平臺介紹【略】
小結(jié)
大數(shù)據(jù)時代已經(jīng)到來，我們創(chuàng)造的大數(shù)據(jù)正在改變?nèi)祟惿a(chǎn)生活的各個方面。信息與網(wǎng)絡(luò)安全作為保障IT數(shù)字資產(chǎn)的關(guān)鍵能力也正在被大數(shù)據(jù)所重新塑造。安全管理平臺，作為安全保障體系中位于頂層的技術(shù)支撐平臺，天然具有與大數(shù)據(jù)結(jié)合的特質(zhì)?；诖髷?shù)據(jù)安全分析技術(shù)的安全管理平臺正在成為未來安全管理平臺發(fā)展的重要技術(shù)方向。
同時，我們必須看到，不論安全管理平臺的技術(shù)如何發(fā)展，如何與大數(shù)據(jù)結(jié)合，安全管理平臺所要解決的客戶根本性問題，以及與客戶業(yè)務(wù)融合的趨勢依然未變。對大數(shù)據(jù)的應(yīng)用依然要服務(wù)于解決客戶的實際安全管理問題這個根本目標。
目前來看，大數(shù)據(jù)分析技術(shù)有助于我們更好地去解決安全管理過程中的部分問題，但并不能解決所有的問題，同時還可能引入了新的問題。這是安全管理平臺的開發(fā)者、服務(wù)提供者和客戶都需要不斷摸索的。
此外，不論安全管理平臺技術(shù)如何發(fā)展，大數(shù)據(jù)分析給我們帶來了多大程度的信息價值度提升，安全分析師始終是不可或缺的。正如大數(shù)據(jù)需要數(shù)據(jù)分析師，大數(shù)據(jù)安全更需要安全分析師。安全，本質(zhì)上是人與人之間的對抗，不論安全分析的自動化技術(shù)如何演進，相互之間進行對抗的，始終是坐在屏幕前的人。
京公網(wǎng)安備 11010502049343號