網絡流量分析工具早已廣為使用,可提升企業網絡效率,定位未使用的容量和帶寬,消除瓶頸。最近此類工具也被列入了網絡安全工具范疇。這很容易理解,因為除了內部人威脅,攻擊都是由外部因素發起并最終控制的。內部的惡意軟件與其外部控制者之間的通信,可被流量分析工具捕獲。
問題在于,雖然網絡安全領域使用流量分析的邏輯很堅實,現實中卻有點不一樣。首先,即便是中小企業,每月產生的流量日志也有30-40億條。沒有計算機輔助的話,誰都篩不了這龐大的數據量,找不出任何有用的東西。其次,捕獲所有數據歷來需要在各網關處安裝流量探針。對有分公司或遠程辦公的公司來說,需要安裝的探針數量很可能過多。而且即便如此,仍會有些流量繞過這些網關。
SecBI旨在消除網絡安全領域中使用流量分析的2個問題:獲得可行性威脅情報所需的大量數據處理;對網絡捕獲硬件的依賴。
他們的解決方法是,將分析器作為可運行在企業內部和云端的軟件模塊部署。
該軟件僅查看日志文件,所以無需任何網絡流量探針、客戶端代理,或除常規日志文件以外的任何東西。然后,軟件用精細校準的算法消化日志中的數十億個事件,查找與正在進行的攻擊或高級持續性威脅(APT)相關的模式。該軟件可按現收現付模式部署,用戶基于每天所需處理的日志文件數據量付款。
為測試SecBI,我們先從本地安裝的版本開始,對測試網絡持續收集了幾個月的系統日志文件數據。各種惡意軟件和APT被植入到測試網絡中產生可查數據。
主控制臺界面顯示,SecBI已發現測試網絡中包含了2555個事件的一起活躍攻擊。你可能會認為,這么多事件,分析師應該很容易就將之標紅了吧。然而,仔細審查單個條目就會發現,這是一個移動非常緩慢且在躲避標準檢測的隱藏威脅。
SecBI軟件主界面顯示算法拼湊出可疑事件/攻擊的相關事件
惡意軟件從測試網絡發出的ping命令走向不同URL。這些URL都非常長,明顯是機器生成的。但其引用主機被屏蔽掉了。如果只看單個事件,分析師可能會認為是YouTube或雅虎或谷歌把用戶帶到了長字符串表示的地址——這種情況時有發生。主機名同樣是隨機的,而且只使用一次,不會被基于前例的威脅情報饋送絆住。
出站流量也是隨機散落分布在2個月的時間段上。該惡意軟件極少進行文件傳輸,總共只發出了2MB數據,收取了7MB。只有非常警覺,或者說超級幸運的分析師,才可能多少聯系起一些節點,認為出事了。但該少量又緩慢的方法,正是APT得以長期隱身在網絡內部的原因,尤其是非常大型的APT,平均潛藏數月乃至整年才被發現。很多APT都只在進行大量數據滲漏的時候才露餡兒,這也是他們整個攻擊的最終目標,但到了那個時候,一切都晚了。
不過,SecBI的設計目的,就是為了拼湊這些看起來無害又隨機的事件,呈現出網絡內真正進行著什么。方法就是,用算法篩查這數十億條日志事件,查找其中模式。SecBI情報檢查很多因素,包括URL中的重復結構、每個外連請求的時間、事件頻率、URL是否機器產生、真實或屏幕掉的引用頁、進出網絡的流量類型。
該軟件串聯了2000多個事件,展現被保護網絡中正在進行的攻擊。
測試APT那看起來隨機的URL字符串,其實也沒有那么隨機。SecBI確定出了該隨機性中的某個模式。該惡意軟件作者還用同一個輪轉算法屏蔽引用主機。其他詭詐的事也沒少做,比如總是間隔3小時發出2個ping命令,然后消停很長一段時間再重復此行為。
有了這個層次上的數據,SecBI程序成功篩查了整個系統日志文件,定位出符合上述任一模式的2000多個其他事件。然后,SecBI將其收集到的數據匯編進一幅圖表中,展示隨時間進程網絡中到底發生了什么,連帶所有涉及到的客戶也一并呈現。
單個來看,用戶訪問超長URL或許看起來沒那么值得注意,但該程序確定出了各種模式將這些異常訪問關聯到了某一威脅身上。
SecBI軟件呈現攻擊證據的簡潔性令人驚訝。任意單個,甚或幾個獨立事件,真的看起來特別可疑嗎?我們談論可是日志文件數十億行記錄里混雜的幾個URL。這其中的差別,就像面對一堆隨機散亂的字詞,和直接看一篇完整可讀的文章一樣。
一旦將所有事件按時序編撰整理好,作為管理員,我們有幾個選擇。首先,我們可以將報告中所有東西都標注為良性的。或許奇怪URL是公司某些特殊程序的一部分。那么,將之設置成“非威脅”,就可使SecBI取消對它的關注。這些過程仍將被監測,只是不再產生警報——除非模式發生了極大改變,這就有可能是新入侵的指征了。
更可能的情況是,管理員想將報告中的每樣東西都標成惡意的。這么做相當于向SecBI軟件確認它確實發現了攻擊的證據。大多數管理員之后便會開始斷開被感染主機的連接,并進行系統清理,根除威脅。SecBI將繼續監視,只要理應清潔的網絡突然開始按同樣的惡意模式發送數據,就會再次報警。這就像是一種確認,要么一切均已修復,要么還需做更多工作。
如果確認收集分析出的東西是惡意的,SecBI程序會更努力地查找相關事件,確保該威脅不會偷跑,被修復后不會卷土重來。
流量監視可作為對付APT和隱秘惡意軟件的絕佳工具,因為最高級的威脅也需要不時聯系其主機以獲得更多指令。攻擊者將這些通信隱身在大多數網絡都會有的數十億其他事件中是相當容易的。SecBI可揭穿這些隱藏威脅,補全網絡安全團隊視野,從已收集到的龐大混亂的系統日志文件中理出有序通路。