日志易項目總監 趙亮
智能運維架構
1、數據采集,采集是基礎,包括日志、事件、性能指標。 2、數據存儲,主要是非結構化數據存儲,日志這種數據是非常典型的。 3、數據分析,把整個數據源進行整體的分析,主要把握深度分析、實時分析兩大模塊,也是智能運維中最為關鍵的環節,要很精準的做到非結構化數據分析,來達到想要的指標。 4、數據展現。可以通過可視化、自然語言來實現。 大數據技術應用于IT運維,通過數據分析提升IT運維。Gartner估計,到2017年15%的大企業會積極使用ITOA,而在2014年這一數字只有5%。ITOA 四種數據源的比較
1、機器數據(日志)。日志無所不在,但不同應用輸出的日志內容的完整性、可用性不同。 2、通信數據(網絡抓包)。網絡流量信息全面,但一些事件未必觸發網絡流量。 3、代理數據(嵌入代碼)。代碼級精細監控,但侵入性,會帶來安全、穩定、性能問題。 4、探針數據(模擬用戶請求)。端到端監控,但不是真實用戶度量(Real User Measurement)。日志管理系統演進
1、日志1.0 數據庫。固定的schema無法適任意日志格式,無法處理大數據量。 2、日志2.0 Hadoop/NoSQL。需要開發成本,批處理、實時性差,不支持全文檢索。 3、日志3.0 實時搜索分析。實時、靈活、全文檢索。 4、日志4.0。主要是應用機器學習、人工智能技術。 日志易的“小功能”主要表現在豐富的數據采集手段、多種數據整理方式、內置多種解析規則、細粒度權限設置、數據脫敏、日志生命周期管理、簡單多樣的告警手段幾個方面,使日志易的“小功能”專業而全面。場景分析及價值
一、安全審計及合規 2017年6月1日,《中華人民共和國網絡安全法》正式實施,其對業務系統安全審計提出了新的要求。日志易既對外做SOC(安全運營中心)的支撐平臺,又對內做UBA(用戶行為分析)。很多企業在使用之后,滿足了合規要求。 二、統一日志管理 目前接入600多個子系統應用日志,202臺網絡設備日志,45臺F5設備日志,47臺存儲設備日志,每秒產生的200萬條日志,由于日志量龐大,為了降低防火墻策略的復雜度以及防火墻流量壓力,將網絡設備、服務器、業務應用日志通過專門網口接入到內網萬兆交換機,直接轉發到日志易集群。各業務系統服務器中部署日志易采集agent,用于增量讀取業務日志,目前已部署1300多個。活動現場
在此次講座中,趙亮先生深度講解了日志易的內部技術原理,深入淺出。嘉賓們認真聽講,紛紛表示不虛此行。 “CIO時代信息化大講堂”活動每隔周三下午19:00-20:30定期舉辦公開講座,更多干貨分享以及活動動態,請關注CIO時代APP。掃描下方二維碼即可下載。