根據分析公司IDC的全球數據圈預測，2021年至2025年，商業和消費者數據自去年以來一直在以約23%的復合年增長率(CAGR)累積，其中企業數據的復合年增長率為28%，預計到2025年將達到180ZB。云計算所創建的數據也在以每年36%的速度增長，而通過各種物聯網和傳感設備收集的邊緣數據則將以每年33%的速度增長，到2025年將占全球數據總量的22%。
對于企業來說，隨著數據量的增長，使數據具備計算能力的任務已經變得更加復雜了，而企業只花費很少的時間和精力來開發有效的數據管理流程和平臺來使數據易于操作。例如，許多公司收集了大量與客戶、訂單、產品使用、安裝基礎、維修單、故障日志和市場情報相關的數字交易數據，但卻沒有好的方法來創建每個客戶或其業務的360度的視圖--盡管他們比以往任何時候都有更多的技術選擇來從數據中提取情報。
許多企業已經到了這樣一種狀態，他們清楚地知道，他們所擁有的數據量既不能提供持續的競爭優勢，也不能讓他們輕松地從中釋放價值。同時，這種擴大的數據所有權既增加了保密問題和實施成本，也增加了環境的復雜性。
邁向更好的數據管理戰略
當前的狀態架構是在沒有首先制定有效和智能地使用數據的策略，實現技術和碎片化過程的復雜組合以及依賴基于非常薄弱的數據基礎的數據工程實踐的情況下積累數據的結果。
在很大程度上，這些基礎是基于提取、轉換和加載(ETL)方法的--從多個源中提取數據，通過ETL服務器將數據轉換為特定格式，然后將數據加載到數據倉庫中，在那里可以對其進行分析，并有望以商業智能的形式呈現。但是，數據轉換過程可能會有些復雜，并且需要大量計算，因為它需要被轉換成一種可以被業務線數據庫識別和使用的格式。由于該過程涉及大量的I/O活動、字符串處理和數據解析，因此也需要花費大量的時間。
一個更好的數據管理策略是先對字母“ETL”進行一點洗牌，然后采用一個從提取數據時就開始處理的過程，然后將其加載到特定的數據存儲庫中，這些存儲庫可以將數據分別轉換為更有用的和相關的形式。這種ELT方法是先將數據加載到你的目標系統，然后再進行轉換，并會將這些任務轉移到單獨的基于云的數據倉庫當中。
不是使用單個的ETL引擎/服務器來轉換所有結構化和非結構化的原始數據，而是使用ELT方法，將數據段傳送到特定的云數據倉庫當中，在那里這些部分將被單獨的轉換。結果是更少的I/O時間和更快的解析。
少一些混亂，多一些智能
基于ELT結構的未來狀態數據架構將著重于建立一個強大的數據基礎層和一個基于平臺的方法，為整個組織提供一個無所不包的數據管理解決方案。無論是物聯網數據、點擊流、銷售和營銷智能、業務指標還是用戶分析，未來的架構都將依賴一個內聚的平臺來縮小數據獲取和釋放價值之間的差距。
未來狀態架構的一些關鍵考慮因素包括：
• 基礎層功能的實現，包括連接器、事件流、源寫回和MapReduce。下一層還將包括數據管理生命周期、數據建模、模式實施、數據隱私、治理、批準、安全、數據項目和管理。
•該架構的核心是一個發現和自我學習引擎，它可以從生態系統中的各種來源抓取和檢索數據--能夠適應不斷變化的業務需求，并吸收適當數量的可計算數據。
•為了滿足符合數據隱私法規的現實，數據結構和持久性抽象需要為數據駐留提供解決方案。
未來狀態架構的最終目標是通過獲取可計算的數據元素來消除長時間運行的查詢和與業務數據的連接，從而優化數據存儲和處理資源的使用。這不僅可以將存儲的數據量減少到我們今天所需存儲的一小部分，還可以提高企業釋放有用且可操作商業智能的速度。
版權聲明：本文為企業網D1Net編譯，轉載需注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號