【關鍵詞】大數據安全分析，大數據
【摘要】一旦網絡安全遇到大數據安全分析，就必然被深刻地影響并重塑。這種重塑體現在安全防護架構、安全分析體系和業務模式等諸多方面。
安全數據的大數據化、傳統安全分析面對新型威脅的缺陷、情境感知和智能安全的發展大勢，使得大數據安全分析迅速進入了網絡安全領域。而一旦網絡安全遇到大數據安全分析，就必然被深刻地影響并重塑。這種重塑體現在安全防護架構、安全分析體系和業務模式等諸多方面。
1 大數據安全分析重塑安全防護架構
1.1 大數據安全分析重塑SIEM和安管平臺
在所有網絡安全領域中，大數據安全分析對安全管理平臺(SOC平臺、安管平臺)及安全信息與事件分析(SIEM)系統的影響最為深遠。
傳統的SIEM和安管平臺由于其核心的安全事件采集、分析及存儲引擎的架構是針對中小數據集合而設計的，在面對大數據的時候運行乏力，難以為繼。SIEM和安管平臺都具有安全事件(日志)的采集、存儲、分析、展示等幾個過程，正好與大數據分析的收集、存儲、分析和可視化過程完全相同。因此，SIEM和安管平臺天然具有應用大數據分析技術的特質。而將傳統SIEM和安管平臺的安全事件采集、分析及存儲引擎更換為大數據分析引擎后，SIEM和安管平臺被帶入了一個全新的高度，進入大數據時代。
大數據安全分析技術的運用已經成為未來SIEM和安管平臺的關鍵技術發展趨勢之一。
1.2 大數據安全分析推動高級威脅檢測
傳統的安全分析是構建在基于特征的檢測基礎之上的，只能做到知所已知，難以應對高級威脅的挑戰。而要更好地檢測高級威脅，就需要知所未知，這也就催生了諸如行為異常分析技術的發展。行為異常分析的本質就是一種機器學習，自動建立起一個正常的基線，從而去幫助分析人員識別異常。面對天量的待分析數據，要想達成理想的異常分析結果，借助大數據分析技術成為明智之舉。
同時，為了對抗高級威脅，還需要有長時間周期的數據分析能力，而這正是大數據分析的優勢所在。
此外，安全分析人員在進行高級威脅檢測的過程中需要不斷地對感興趣的安全數據進行數據勘探，而要針對天量數據實現即席的交互式分析，需要有強大的數據查詢引擎，這同樣也是大數據分析的優勢所在。
1.3 大數據安全分析促進欺詐檢測
客戶業務的日益復雜和線上業務的不斷豐富，使得欺詐檢測遭遇了前所未有的挑戰。現代的欺詐檢測系統大都具備基于行為輪廓的異常檢測能力，而對天量的用戶、帳號、實體、業務的訪問行為信息進行建模絕非易事，大數據技術的引入有助于提升建模過程的速度和準確度。大數據安全分析技術正在重塑欺詐檢測系統。
1.4 大數據安全分析增強各類安全產品
除了前面提及的已經顯著受到大數據技術影響的安全防護系統之外，很多傳統的安全防護系統也同樣正在引入大數據安全分析技術。
借助大數據安全分析技術，DLP系統將變得更加智能，不僅能夠對已經標定的敏感信息進行檢測，還能對用戶使用數據的行為過程進行建模，從而針對更多地難以進行簡單標定的敏感信息的訪問進行異常檢測。
借助大數據安全分析技術，通過對DAM系統收集到的海量數據庫訪問日志進行業務建模，從而識別用戶的業務違規，使得DAM系統的價值得到進一步提升。
借助大數據安全分析技術，能夠實現針對IAM和4A系統的用戶違規智能審計。通過對IAM和4A系統的海量用戶訪問日志進行建模和機器學習，發現小概率的異常事件。
借助大數據安全分析技術，還能夠提升靜態應用安全測試(SAST)系統的檢測速率，并能夠通過高效地聚類/分類等算法更好地尋找應用系統的安全漏洞。
1.5 大數據安全分析激發網絡威脅情報分析與協作
隨著高級威脅的日益泛濫，尤其是網絡空間安全對抗逐步上升到專門組織、國家層面，很多傳統的犯罪分析和軍事戰爭的理論及戰略戰術被不斷引入網絡空間安全之中。這其中，最顯著的一個趨勢就是網絡威脅情報的興起。
Gartner認為威脅情報是一種基于證據的知識，包括了情境、機制、指標、隱含和實際可行的建議。威脅情報描述了現存的、或者是即將出現針對資產的威脅或危險，并可以用于通知主體針對相關威脅或危險采取某種響應。
威脅情報最大的好處就是能夠直接作用于企業和組織的安全防護設施，實現高效快速的威脅檢測和阻斷。
但是威脅情報信息的獲得絕非易事。專業的威脅情報服務提供商能夠采集互聯網上的各種數據，既包括淺層WEB，也包括深層WEB，甚至是暗網(Dark Web)的數據，抑或是授權客戶的數據，然后基本上都利用大數據分析技術產生有關攻擊者的威脅情報信息。
誰也不可能獲得獨立獲得最全的威脅情報，就像我們的反恐或者犯罪調查一樣，各個情報組織間的合作至關重要。網絡威脅情報亦是如此。利用大數據分析技術，有的廠商建立起一個威脅情報的分享和協作平臺，進行威脅情報的交換，更大限度地發揮情報的價值。
簡言之，借助大數據安全分析技術，威脅情報分析與共享這個新興的安全分析領域獲得了突飛猛進的進步，當前正處于聚光燈下。
1.6 大數據安全分析造就大數據安全分析平臺
大數據安全分析不僅重塑著傳統的安全防護系統，催化著威脅情報，有時候也顯性化地表現為一個專有的分析平臺。
如前所述，大數據安全分析不是一個產品分類，而代表一種技術，各種安全產品都能夠運用大數據安全分析技術。在一個較為完備的基于大數據安全分析的解決方案中，通常會有一個大數據安全分析平臺作為整個方案的核心部件，承載大數據分析的核心功能，將分散的安全要素信息進行集中、存儲、分析、可視化，對分析的結果進行分發，對分析的任務進行調度，將各個分散的安全分析技術整合到一起，實現各種技術間的互動。此時，一般而言的SIEM、安管平臺、DLP、4A等等系統都在這個大數據安全分析平臺之下。
2 大數據安全分析重塑安全分析體系
大數據安全分析技術和其它新興分析技術的崛起，極大地豐富了傳統的安全分析體系和方法論。借鑒已故著名數據庫專家、圖靈獎獲得者詹姆士格雷的科學研究范式理論，我們提出了“全范式分析”的全新安全分析體系。
根據科學研究范式理論，詹姆士格雷將人類科研模式的發展歷程劃分為4個階段(也叫“范式”，paradigm)。
第一范式：數千年前，科學研究最初只有實驗科學，科學家通過經驗來解釋自然現象。
第二范式：數百年來，科學研究出現了理論科學，運用了各種定律和定理，如開普勒定律，牛頓運動定律，麥克斯韋方程等。
第三范式：近幾十年來，對于許多問題，理論分析方法變得非常復雜以至于難以解決，人們開始尋求模擬的方法，這就產生了計算科學。
第四范式：當前，出現了將實驗、理論和仿真統一的科研方法，稱為數據密集型計算模式。在這種模式中，由軟件處理由各種儀器或模擬實驗產生的大量數據，并將得到信息或知識存儲在計算機中，科研人員只需從這些計算機中分析感興趣的數據。
我們把科研方法的發展歷程，同安全分析方法的發展歷程做個對比，就會發現二者存在驚人的相似性：
(1) 安全分析第一范式：嘗試、實驗。在網絡應用尚未大規模普及、網絡安全還未成為突出問題的時候，市場上還沒有培育出成熟的安全工具和產品，安全分析主要依賴于安全管理人員的經驗。目前仍然廣泛采用的滲透測試、安全咨詢服務等，仍然是以這種模式運行的。
(2) 安全分析第二范式：模型、特征。隨著安全問題的日益普遍，單憑安全管理人員的經驗已經無法應對，迫切需要自動化的分析工具，由此產生了入侵檢測系統、防病毒系統和防火墻等安全產品。這些安全產品的共同點就是對網絡攻擊行為進行分析，提取不同層面的特征(如網絡層連接特征用于防火墻制定ACL規則;應用層內容特征用于提取IDS的匹配規則;文件級特征用于病毒掃描)，對網絡流量進行實時自動化分析。這類安全產品的關鍵是對攻擊特征的提取和描述，其本質是對攻擊行為的建模。
(3) 安全分析第三范式：模擬、仿真。隨著APT的出現，攻擊變得越來越復雜、特征變化越來越快，以攻擊行為建模為基礎的分析方式漸漸難以應對，從而出現了以虛擬執行技術為代表的新型分析技術。這種技術的本質是模擬被攻擊者在遭受攻擊后的反應，這樣無需對攻擊行為建模也能檢測未知的攻擊。
(4) 安全分析第四范式：大數據安全分析。大數據技術的出現，將安全分析提升到了新的階段。有了大數據平臺的支撐，安全分析人員可以將各類不同類型的數據，如通過滲透測試得到的漏洞信息、通過傳統檢測設備產生的報警事件、通過虛擬執行得到的可疑攻擊執行結果，進行大范圍的匯總和關聯。同時，通過長時間的關聯，安全分析人員可挖掘某臺主機、某個用戶的行為異常，從而實現不基于簽名的未知攻擊檢測。對于每一條可疑報警，分析人員可以查詢與該報警相關的各類數據，從而確定報警真實性、攻擊源，評估攻擊造成的危害。
從上述分析中可以看到，安全分析方法的發展歷程與詹姆士格雷概括的科學研究范式間存在著高度對應的關系，從而可以用科學研究范式來類比安全分析方法。而這其中，大數據安全分析技術正代表了最前沿的安全分析第四范式。大數據安全分析是全新的“全范式安全分析”體系的重要組成部分。所謂“全范式安全分析”體系，就是強調要綜合利用四種安全分析范式來構建一個完備的安全分析體系。
3 大數據安全分析重塑網絡安全業務模式
大數據安全分析的興起不僅改變了傳統的網絡安全防護架構、安全分析體系，也在深刻變革現有的網絡安全業務模式。最典型地，大數據安全分析直接促進了SECaaS(安全即服務)的發展。包括SIEM、日志分析、欺詐檢測、威脅情報在內的多種服務都在積極擁抱大數據安全分析技術。大數據安全分析已成為安全業務模式變革的催化劑。
即便是針對企業和組織內部的大數據安全分析，由于安全與業務的不斷融合，以及數據中心和云計算的普及，未來必然要求將大數據安全分析與大數據業務分析進行整合，安全數據不過是企業和組織業務數據的支撐數據之一。在這個發展趨勢下，必然涉及到開發、運維、安全團隊的交互與協作(DevOpsSec)，業務部門與技術部門的融合。大數據安全分析將成為安全與業務融合的催化劑。
4 大數據安全分析重塑網絡安全的技術本質
大數據安全分析何以如此深刻地重塑網絡安全?從大數據分析(BDA)的技術視角來看，就在于大數據安全分析實現了兩個質的飛躍。
(1)可控投入前提下的性能的飛躍：大數據技術的興起，使得企業和組織能夠在可以接受的投入的前提下，實現安全分析性能的飛躍。在大數據分析技術的支撐下，數據采集、數據分析、數據存儲、數據勘探的性能有了質的提升。性能的提升，使得原來很多不可能進行的分析工作成為了可能，并且極大提升了分析工具的用戶體驗。用安全分析師的話來說，“有了大數據分析技術之后，數據分析變得可用了”。
(2)安全分析技術的飛躍：大數據技術的引入，使得安全分析技術從針對樣本數據的分析拓展到針對全量數據的分析，從基于特征的匹配分析升級到基于行為的異常分析。受限于技術約束，傳統的安全分析大都僅針對樣本數據進行分析，并將分析結果推論到剩余的數據集合上。而隨著高級威脅和欺詐行為的不斷進化，以及安全數據在各個維度的不斷增長，越來越需要對全量數據(涵蓋并不限于包數據、流數據、事件數據)、甚至是相關的情境數據進行分析。大數據分析有很好的天量數據并行分析架構，能夠滿足這個需求。同時，大數據分析充分提升了機器學習、乃至深度學習算法運用的可行性，使得安全分析領域能夠引入很多過去看來十分“奢侈” 的機器學習算法。借助這些基于大數據技術的分析算法，使得我們能夠進行行為輪廓建模，學習正常模式，識別異常模式，并在對抗中持續學習，不斷進化。通過異常分析，能夠更好地應對高級威脅和欺詐，幫助我們從知所已知提升到知所未知、乃至前所未知(Unknown unknowns)。
【致謝】本文關于“全范式安全分析”的體系設計來自于大潘，而“全范式安全分析”的闡述則來自于百川的貢獻。在此，一并致以感謝!
原創作品，允許轉載，轉載時請務必以超鏈接形式標明文章 原始出處 、作者信息和本聲明。否則將追究法律責任。http://yepeng.blog.51cto.com/3101105/1616087
京公網安備 11010502049343號