思科Tetration AnalyticsTM平臺配合思科新一代基于Cloud Scale技術的硬件設備,流動在數據中心的任何一個數據包的元信息都可以被實時地記錄和存儲下來;同時,在基于Apache Spark、Kafka和Druid等開源技術的幫助下,配合相應的無監督機器學習算法,該平臺可以輔助用戶在應用關系梳理、應用訪問策略制訂、模擬和實時驗證、應用云端遷移訪問策略制訂、白名單安全模型等方面脫離傳統的手工和被動的工作方式。
網絡數據分析的需求由來已久,早期的用戶通過SNMP平臺采集網絡設備端口的流量MIB 并通過圖形化工具來顯示流經網絡設備的流量情況。隨著硬件技術的發展,xFLOW技術被集成在網絡設備中,網絡設備可以基于2到4層的信息把網絡數據包形成flow分類,繼而進行統計和輸出,用戶可以基于網絡設備輸出的flow信息進行數據分析。隨著網絡速度的飛速提高,網絡規模的快速增大,數據中心、云計算、虛擬化、容器技術的普及和應用,一些用戶對網絡數據分析的要求進一步提高,基于xFLow技術的網絡數據采集方式在實時性、顆粒度和規模上很難滿足要求,這些用戶轉而采用網絡設備 SPAN或者是外部TAP的方式來進行網絡數據的采集,這些方式在采集能力和代價上作出了較大的折衷。
挑戰是創新的源泉,思科公司Nexus 9000 交換機的研發團隊與科研機構共同努力,在業界首先實現了大規模高速網絡的數據采集、存儲和分析平臺-Tetration AnalyticsTM。該平臺由數據采集部分、存儲和分析部分組成:數據采集部分包括安裝在實體服務器或者是虛擬機中的軟件數據采集器、以太網交換機轉發芯片的硬件數據采集邏輯和第三方數據接口組成;存儲和分析部分由基于思科UCS計算平臺的服務器集群組成。
軟件數據采集器支持業界主流的操作系統平臺,可以通過用戶自己的自動化服務器部署工具自動地部署到服務器中。軟件數據采集器只針對操作系統協議棧發出和接受的數據包頭部信息進行數據采集,并且收集相應的發送和接受進程的信息,這些收集到的數據經過嚴格加密后,發送到存儲和分析部分。軟件數據采集器看似簡單,但是,為了減少對主機CPU、內存和網絡資源的占用,加強對用戶隱私的保護,對成千上萬個分布部署的軟件采集器進行統一管理和維護,支持多種操作系統,思科公司的開發人員為此做了大量的工作。
“硬件數據采集器”實際上是思科公司Cloud Scale芯片技術的內置硬件數據采集邏輯,數據中心交換機可以在1RU的設備中做到Tbps級別的轉發能力,每秒中流過一臺接入設備的數據包可以達到幾十億個,思科在芯片技術上的創新可以將每個數據包的元信息和其它網絡相關信息都記錄下來,并且及時地發送到Tetration AnalyticsTM存儲和分析部分。軟件數據采集器和“硬件數據采集器”可以根據需求同時部署,或者單獨部署。軟件數據采集器與用戶采用何種網絡設備、何種網絡拓撲等完全無關,為用戶提供了網絡數據采集的靈活性和覆蓋的廣泛性。
Tetration AnalyticsTM存儲和分析部分是該平臺的精彩所在,億萬個網絡數據流的秒級快速檢索能力、多維度(在第一版軟件中可以同時通過20個維度)網絡數據流可視化展示只是基本能力。針對萬億個數據的無監督機器學習算法的采用,為網絡訪問行為基線設立、網絡訪問異常檢測、應用訪問關系的動態甄別、聚類動態劃分等提供了方便的工具。這些內置的應用也僅僅是網絡數據分析新篇章的序曲,這個緊湊高效的平臺為用戶的數據分析專家提供了網絡數據完善的、全面的大數據來源,基于Tetration AnalyticsTM存儲和分析部分的外部接口,用戶可以在網絡數據分析領域無限地發揮自己的創造力。
這個世界上沒有無人區,只有無畏的探索者——作為專注網絡領域的廠商,思科不僅將技術創新視為公司持續發展的根本,更將其視作行業領導者對業界的責任。新想法、新技術接連不斷地孕育和誕生,為業界源源不斷地注入發展動力,這就是思科公司作為科技樂觀主義者對創新的絕佳踐行。