摘要威脅數據、信息和情報存在很大的差異,找到并辨別他們彼此之間到底區別,能夠幫助企業最大化的利用威脅情報平臺所生產的數據
從數據到信息到情報,這些信息的數量在不斷地減少,但價值在不斷地增加
威脅情報平臺只能生產數據和信息,而人工則能區分確實可利用的威脅情報
計算機永遠也無法生產真正的威脅情報,但人類也并不適合數據收集和處理大量的威脅數據這兩種工作
可落地的安全工作永遠是最終的目標,如果不能提高安全性,那么威脅情報是無用的。
我們在研究中發現,大多數的組織在投資威脅情報平臺的時候都會犯一個巨大的錯誤,更不幸的是,直到完成整個威脅情報平臺解決方案的實施,他們都很少會意識到這個錯誤。
當然,決定投資威脅情報并不是問題,否則我們也不會向我們的客戶提供威脅情報服務。這個錯誤其實更基礎——那就是認為威脅情報平臺會把一切的事情做好。
令人悲傷的是,威脅情報平臺并非如此,那么為了回答這個問題,讓我們來看看威脅數據,信息和情報之間的區別,和在他們進化的過程中,一個技能熟練經驗豐富的分析師能夠起到的作用。
數據,信息和情報數據,信息和情報的最大區別實際上是兩點,數據量和可用性。
數據通常可以較為容易地,大量地獲取,他們通常在陳述單個的,無可爭議的事實。比如某個IP發起了鏈接請求,就是一個很好的例子,因為這是一個很簡單的事實陳述,并沒有什么爭議性。
而當一系列的數據點被結合起來回答一個簡單的問題的時候,信息就產生了。例如,身高和體重組合在一起可以計算出BMI指數,然后可以用這個來繪制一張圖表來確定你是否屬于正常范圍。要注意的是,雖然這個信息比原始的數據更加有用,但這并不能直接驅動行為。
情報則像在利用這些數據和信息來講述一個故事,這個故事可以用來幫助決策。更重要的是,情報從不回答簡單的問題,而是描繪一個能夠幫助回答更復雜問題的故事。接著BMI體重指數來舉例,你的體重指數可以交由移植委員會來結合相關研究來確定你是否合適進行器官移植。情報從不直接回答你是不是應該移植器官,但情報確實能夠幫助人們進行決策。
所以我們從數據到信息到情報的時候,輸出的數量急劇下降而價值會成指數級上升就并不奇怪了。下面這張來自美國國防部的 “Joint Publication 2-0: Joint Intelligence” 報告,就能很好的展示從數據到情報這一過程中的步驟和變化。
但這如何套用到安全領域中呢?
那我們來舉一個在安全領域中的數據的例子:單個鏈接請求。就其本身而言,這個數據確定不了任何事情,除了我們收到了一個從特定的IP地址發來的鏈接請求。
現在讓我們來上升到信息,我們假設這個請求在短時間內達到了一個不正常的極高的數值。那么現在我們就可以確定,由于某種原因,這個服務器收到了極大的訪問壓力,需要處理。
最后,情報層面。結合我們自己過去的經驗以及大量的來自僵尸網絡的IP的鏈接,我們可以得出結論:服務器遭受了DDoS攻擊。假設我們已有了處理DDoS的方案 ,那么就可以立即采取措施來保護我們的資產。
所以問題在哪里呢?現在我們已經了解了威脅數據,信息和情報之間的差異性,那么大部分組織會犯的這個巨大的錯誤就變得容易理解了。
其實很簡單,威脅情報平臺實際上并不產生真正的威脅情報。聽起來很奇怪,但這并不難理解。威脅情報的產生并不僅僅需要一個高度復雜的計算機算法。
大多數現代威脅情報平臺都能夠很好的收集威脅數據,而這些平臺中很大的一部分都是主要用來組織和展現威脅情報,從而幫助安全分析師的工作。有一些威脅情報工具則做了更多的工作,他們能夠結合和加工這些威脅數據提取出的信息,這能夠大量的節約安全分析師的工作,因為可以排除許多誤報并進行很多較為簡單的分析。但嚴格的來說,并沒有自動化的產品可以產生真正的威脅情報。只有高度熟練并具有深厚的安全背景的分析師可以有效的提煉出對企業安全系統有效的行動決策。
也就是說,最好的威脅情報供應商和產品,可以達到生產信息之上的高度。那就是使用一個AI,或者更精確的說一個“threat AI”,AI可以處理那些相對簡單的威脅情報,但對于那些更復雜的威脅情報,仍然需要人工的參與。
這就是那個大多數組織都會出現的問題:認為采購一個簡單的平臺就能提供安全情報,而忽視了真正產生情報需要大量的人力。
是的,我們也要承認在沒有人工參與的情況下,一些好的威脅情報平臺能夠提供一些支持。威脅信息能夠提供一些簡單問題的答案,比如“軟件系統存在漏洞么?”這些答案確實是有幫助的。一些更高級的威脅情報產品能提供一些更多的信息,這可以大大減少分析師的負擔。但獲得真正的有用的威脅情報時,沒有什么能代替人腦在這里起到的作用。
信息過載當我們討論到這里,可能會有人疑惑如果威脅情報平臺不能生產威脅情報,那么到底有什么作用? 最簡單的回答就是大數據,我們拿Recorded Future來舉個例子。
即使是產生一個很小的威脅情報,也需要大量的威脅數據,簡單的威脅情報平臺能夠獲取并整理大量的威脅數據,這使得分析師的工作更容易和他們的輸出結果更加有效。
Recorded Future也在收集來自成千上萬數據源的數據,并不斷識別和自動添加新的數據來源,Recorded Future的threat AI的各種功能都是自動運行的(比如多種語言的自然語言處理功能),數據處理量也是令人驚嘆的。平均的來說,Recorded Future每秒鐘能夠處理超過4000條數據,遠超出了人類團隊所能達到的極限。
而且這并不僅僅只是識別威脅,平臺最重要的作用是剔除這些數據中的誤報,這些誤報會大量的浪費人力。Recorded Future可以自動過濾掉大部分的誤報,讓分析師能夠更專注于在真正威脅的基礎上生產情報。
其他的有價值的功能也是可以自動化的,比如尋找并識別一些特定的數據,或在威脅論壇和網站上搜索一些相關的信息等等。同樣的,這些任務利用人力來做是非常繁重的,但對于自動化威脅情報平臺來說,相對比較容易。
最終,threat AI和情報平臺將會有明顯的界限,Recorded Future平臺明顯是前者。只有真正將分析師和威脅情報產品結合起來,才能形成世界領先的威脅情報能力。
什么讓我們領先?威脅情報產品最重要的功能之一是將威脅數據根據對企業潛在的風險值組織起來,這也是最好的供應商和其他供應商的區別,那就是他們能夠自動化排序威脅,這樣分析員就可以集中精力分析最重要的威脅數據或者信息。
這就是關鍵所在。
就像之前描述過的大數據的問題,能夠有一個排序威脅的工具是至關重要的,如果需要手動挖掘每一個威脅,你會發現許多緊迫的威脅無法得到及時的處理。
威脅信息的結合和優先級分析是第一要素,所以請謹慎的選擇你的供應商。
燈光!攝影!Action!當上升到信息級別的時候,能否轉化成安全工作是唯一真正重要的,只是擁有威脅數據或信息并沒有什么價值,除非你能利用它去來提高安全性或低于即將到來的攻擊。
毫不奇怪,世界上最好的安全系統們已經隨著時間發展出了自己的方式來采取積極的措施來進行防御。每一天他們的分析師都會分析出可操作的情報,用于改善安全機制,關閉漏洞并停止攻擊。
如果你想采取一些更主動的方法,可以看看Recorded Future的這篇白皮書“Understand Your Attacker: A Practical Guide to Identifying TTPs With Threat Intelligence,”這將幫助您了解威脅行為使用的不同的策略和技術(TTPS)。有了這些信息,你就可以開始系統的提高網絡安全并降低組織的威脅了。