各種設備產生數量龐大的日志數據為深入了解它們創造了巨大可能，但為更透徹理解，機器學習十分必要。

機器生成的日志數據就像大數據宇宙的暗物質，在每一層，每一節點產生，然后在包括智能手機和互聯網終端在內的分布式信息技術生態系統中生成。它們被收集，處理，分析和廣泛使用，但大多時候，這些都發生在幕后。

日志數據對許多微型企業應用起到很基礎的作用，如故障排除，調試，監控，安全，反欺詐，法規遵從和電子發現。然而，它也可以成為一個強大的工具，以用于分析點擊流，地理空間，社交媒體，以及許多以客戶為中心的使用情況等記錄相關的行為數據。

機器學習能浮動大數據海洋上所有船只。

人類很難跟上機器記錄數據，在設計之初，它們就沒打算供人類直接分析。除非注入非凡效率，日志數據的高量，速度和品種可以迅速壓倒人的認知。埃森哲撰寫的最近這篇文章對此解釋簡明扼要：

日志文件的數量和種類日益上升，因此，管理和分析它，跟蹤潛在的問題，發現錯誤–尤其當跨數發生關聯時，都變得越來越困難。即使在最好的情況下，它仍需要一個有經驗的操作人員遵循事件鏈，濾除噪聲，并最終診斷出一個復雜的問題的根本原因。

顯然，自動化是深入了解日志數據的關鍵，因為日志數據在大數據領域里成規模分布。自動化可以確保數據的采集，分析處理，同時，它對數據的顯示結果規制和事件驅動的履行和數據流一樣高速。日志分析自動化主要引擎包括機器數據集成中間件，業務規則管理系統，語義分析，數據流計算平臺和機器學習算法。

其中，機器學習對于日志數據深入了解的自動化和精華甄選最為關鍵。但是，機器學習并不對于所有記錄數據都完全準確的分析方法。不同的機器學習適合于不同類型的日志數據，用于不同的分析挑戰。當尋求相關性或其他模式時可通過機器學習先驗，而要進一步探索，監督學習則為上策。然而，監督學習需要人類專家從日志中準備一個培訓數據的設置，以改進機器學習算法，使它們具有與辨別最相關的模式的能力。

但是，如果不能對日志數據模式提前精確定義，無監督和強化學習可能更合適。它們由機器學習提供，幫助日志數據分析方案最大化適合于全自動化，因為它們可以挑選出并優先最相關的模式，進行手頭的任務，而不需要增設人類額外操作的培訓數據設置。

多樣相關性是用與無監督和強化學習的核心日志數據分析使用案例。當多樣的日志數據被合成，最終它們合成，變得更異質的，復雜莫測，最有趣的數據也發生變化，這種關系完全不能被清楚地預先分析。因此，如果我們只是嘗試使用簡單的查詢、預先存在的報表和儀表盤，以及其他標準分析視圖進行查看，隱藏的模式可能仍然不可見。在這些情況下，機器學習可以提供各種顯著的量化方法對此進一步探討，例如聚類，馬爾可夫模型，自組織映射等等。

另一個無監督學習和強化學習的關鍵應用是識別要么從未發生過或者除了被認定為雜音外從來沒有被標記過的那些顯著模式。文章作者討論了一款假定的機器學習的安全日志分析應用程序，它可以“立即為用戶發現非典型訪問模式，即使這種特殊訪問模式此前從未出現，他也能力及識別，這樣就可以防止特別是私人信息的高風險損失。

許多對海量日志數據最具破壞性的見解都具有這種特質：復雜，死氣，前所未有。從日志數據本身而不是從任何先驗知識可知，將有許多數據科學家花費大量的時間去研究。他們將越來越多地調整自己的機器學習算法來監聽日志中夾帶的那些即使是最先進的人類主題專家此前也曾忽視了的“信號”。