近年來,數(shù)據(jù)增長呈爆炸性增長,63%的企業(yè)管理50PB或更多。使數(shù)據(jù)管理挑戰(zhàn)更加復雜的是每年數(shù)據(jù)增長的瘋狂步伐 – 有時高達40-50%。這種增長在管理成本和有效管理數(shù)據(jù)方面造成了巨大挑戰(zhàn)。在最近的調查中,51%的企業(yè)承認他們的備份基礎架構(例如磁帶備份)跟不上數(shù)據(jù)增長,并發(fā)現(xiàn)數(shù)據(jù)遷移是痛苦的。缺乏有效的備份和增長管理策略可能非常昂貴。停機成本昂貴的范圍在每小時5萬至5百萬美元之間,并且可能導致無法估量的聲譽損失。更重要的是,當數(shù)據(jù)無法恢復或無法用于分析洞察時,機會成本可能會導致顯著的競爭劣勢。
物聯(lián)網(wǎng)應用程序中的數(shù)據(jù)流如何
在設計有效的數(shù)據(jù)管理策略之前,了解如何使用收集的數(shù)據(jù)非常有用。在典型情況下(圖1),網(wǎng)絡邊緣的傳感器和控制設備不斷收集數(shù)據(jù),網(wǎng)關將數(shù)據(jù)傳輸?shù)絻炔炕蚬苍啤J占臄?shù)據(jù)需要根據(jù)訪問頻率進行快速評估和分類。例如,將頻繁訪問關鍵警報數(shù)據(jù)以確保修復已到位并執(zhí)行站點級別操作,而收集的符合法規(guī)要求的日志/例行數(shù)據(jù)需要存檔,并且只能通過例外訪問。
近來,隨著機器學習和人工智能算法的出現(xiàn),歸檔數(shù)據(jù) – 通常被稱為“冷數(shù)據(jù)” – 已經(jīng)成為培訓算法和設計新見解的寶貴財富。數(shù)據(jù)管理利益相關者必須平衡所收集數(shù)據(jù)的當前和未來效用,并評估哪些數(shù)據(jù)將處于“冷”存儲中,哪些數(shù)據(jù)將隨時可用。
物聯(lián)網(wǎng)數(shù)據(jù)的實際使用情況
收集的數(shù)據(jù)類型也是確定存儲策略的重要因素。在這里,物聯(lián)網(wǎng)應用和行業(yè)發(fā)揮了重要作用。表1列出了四個垂直行業(yè)中的一些數(shù)據(jù)收集方案以及可由數(shù)據(jù)驅動的洞察力。
您應該利用數(shù)據(jù)存儲需求的解決方案
數(shù)據(jù)存儲范式的形式斑點非結構化和二進制數(shù)據(jù),數(shù)據(jù)湖泊進行大數(shù)據(jù)分析,文件共享,為表架構少NoSQL數(shù)據(jù)等都是重要的考慮,因為在數(shù)據(jù)戰(zhàn)略決策。
數(shù)據(jù)管理解決方案
如果應用程序主要生成二進制和非結構化數(shù)據(jù),那么找到保存,存檔和備份數(shù)據(jù)blob的最有效方法變得至關重要。同樣,如果分析正在關聯(lián)結構化和非結構化數(shù)據(jù),則需要采用正確的數(shù)據(jù)湖泊方法。
確定數(shù)據(jù)管理策略的另一個關鍵因素是數(shù)據(jù)采集速率,從而提高收集數(shù)據(jù)的增長率。高頻率的小尺寸數(shù)據(jù)添加(例如:文本數(shù)據(jù))可能與偶發(fā)的大量數(shù)據(jù)添加一樣成問題。此外,HD圖像數(shù)據(jù)饋送或圖形數(shù)據(jù)的存儲和不斷存檔可能特別昂貴。根據(jù)數(shù)據(jù)收集的頻率,所需的歷史數(shù)據(jù)量以及數(shù)據(jù)存儲成本來實現(xiàn)業(yè)務需求,這對于實現(xiàn)可持續(xù)的數(shù)據(jù)管理戰(zhàn)略至關重要。
數(shù)據(jù)安全解決方案
隨著數(shù)據(jù)的性質和數(shù)據(jù)的使用的確定,數(shù)據(jù)的安全性成為最重要的。由于數(shù)據(jù)的價值和合規(guī)性方面變得突出,因此必須確保數(shù)據(jù)安全。無論是選擇DIY選項還是選擇商業(yè)選項,保護數(shù)據(jù)都是至關重要的,因為未經(jīng)授權的數(shù)據(jù)訪問可能會產(chǎn)生代價高昂的后果。同樣,在發(fā)生故障或中斷時不會丟失數(shù)據(jù)也很重要。當然,備份和恢復過程的定期測試是最佳實踐。
在網(wǎng)站存儲與公共云
也許云時代最重要的考慮因素是決定在本地或公共云中托管數(shù)據(jù)。雖然只有真實地核算復雜性,控制權,總擁有成本和任何固有的傳統(tǒng)轉換成本,才能產(chǎn)生優(yōu)勢,可以產(chǎn)生客觀的評估來推動決策。內部部署基礎架構為組織提供了更多控制權,但需要技能,資源和強大的成功流程。更重要的是,運行現(xiàn)代企業(yè)數(shù)據(jù)中心所需的廣泛功能可能非常重要。設施管理,電力和電力基礎設施,IT采購,管理人員以及對用戶的全天候支持可能成本很高。然而,可能存在基礎設施控制的情況,
外部公共云或共同定位的基礎架構即服務(IaaS)模型將計算存儲視為組織可按需采購的服務。這創(chuàng)造了極大的靈活性,并將IT資源集中在增值上,并消除了管理基礎架構的麻煩。用于備份,恢復和按需可擴展性的強大機制為不斷發(fā)展的企業(yè)提供了可擴展的數(shù)據(jù)管理基礎架構。
結合內部部署和公共云基礎架構的混合環(huán)境越來越受歡迎,因為它們可以克服與控制和專有問題相關的利益相關者問題,并提供靈活性和按需擴展。利益相關者也喜歡云供應商提供的安全和備份選項。
為了做出有效決策,徹底的總體擁有成本是非常寶貴的。概述基礎設施管理的各個方面,隨著利益相關者評估選項,與規(guī)模和靈活性相關的機會成本非常重要。