冷存儲是不經常訪問但卻是必需數據的術語。人們需要了解冷存儲如何工作,以及如何幫助大數據。
已經有一些企業側重于分層存儲算法,其基于數據需要被訪問的頻率,將數據路由到最合適的存儲介質,特別注意第一層,數據需要快速和頻繁的最快速的訪問存儲恢復器。
但是在“數據副本”中,高達85%的企業數據駐留在很少被訪問的存儲介質中,同時也存在一個迫在眉睫的危機,即如何以最低成本優化管理和維護這些數據,以及適當的數據存儲,檢索,安全和訪問策略。
這種不常訪問但仍然必要的數據的名稱是“冷存儲”。確定數據是“熱”(經常訪問),“暖”(適度訪問)還是“冷”(不常訪問)通常是存儲管理員的工作,評估各種類別的數據訪問。在某些情況下,數據中心甚至開始使用自動化存儲分層軟件來做出這些數據存儲決策。
大數據因素進入討論,因為有這么多的。為了治理的目的(即使不定期使用數據也需要保留數據),業務連續性(大數據和“常規”數據需要多個數據存儲庫,并用于災難恢復故障轉移)因為需要知道一切是什么,網站必須尋找低成本,緩慢的冷存儲解決方案,所以他們可以承受這些必須保存但很少被訪問的數據管理的成本。
適用于私有云環境的冷卻數據服務提供商Storiant公司創始人兼首席執行官杰夫·福羅爾斯表示:“當我們研究存儲市場時,我們認識到需要大容量冷存儲,并且看到組織所有大數據流正在積累,這是一個日益嚴重的問題。”
福羅爾斯表示,他們可以在防火墻后安全保留數據,每月每GB每月只需0.01美元。亞馬遜公司等大型公共云服務提供商也提供冷存儲服務,但區別在于Storiant公司將其提供給用于企業的私有企業云;這吸引了許多企業使用公共云服務來提供他們的數據。
冷存儲如何工作,以及如何幫助大數據
“大數據來自大的數據塊,大數據分析經常需要處理大數據量的大數據對象。”福羅爾斯說。“使用冷存儲,可以將一個存儲大量數據的數據湖通過Hadoop計算節點掃描。”
像Storiant公司提供這樣的解決方案可以容納大型數據對象,這些數據對象包含表征最大數據的非結構化數據,以及日益包含大數據的物聯網(IoT)數據(如網站日志文件)。當企業IT使用冷存儲解決方案,并決定哪些存儲容器要將大數據的特定塊(或對象)分類到哪個存儲容器時,企業可以對所有這些數據進行分類。在同一時間,可以分配給建立在容器中訪問數據的每個容器的權限。
福羅爾斯表示,互聯網服務提供商正在迅速實施這種風格的基于云計算的冷存儲來存儲大數據,因為它是彈性的,其能力可以滿足擴展或收縮的需要。基于云計算的冷存儲還具有財務靈活性,因為它消除了長期攤銷數據中心資本支出(CAPEX)的需要,有利于更靈活地轉換為資本性支出(OPEX)的冷存儲方法,企業可以在短期內控制。
他說,“我們相信物聯網將繼續得到指數性增長,企業將需要管理自世界各地數以百萬計的設備和數據源供應大量的大數據量,金融機構,醫藥公司,以及政府需要大規模,低成本的大型數據冷存儲,最終,企業必須找到一種方法來安全地運行,并進行低成本分析,而私有云設置中的冷存儲服務提供了這些優點。”