很多人認為IT基礎設施很重要,但并沒有提供獨特的差異化以及競爭價值。但這一切將要發生改變,IT開始在數據中心內部署更多的“數據感知”存儲。
當業務人員被問到IT應該做什么以及能夠提供什么時,他們可能會列出令人困惑、與基礎設施無關的天真想法(假定已經IT滿足了最低的服務級別)。由于IT管理者已經成長為業務的服務提供方,因此他們越來越多地關注基礎設施究竟為他們服務的系統提供了哪些價值。最優秀的IT管理者發現仔細觀察基礎設施能夠做什么會“自動”獲得增加巨大價值的機會。
就其保存的數據而言,IT存儲設施變得越來越智能。大數據處理功能提供了探究之前被忽略數據集的動力。技術資源正在變得更強大—融合成為了基礎設施層新的流行詞—核心存儲不僅可以使用閃存以及內存內方式大大提升處理速度,而且可以利用CPU強大的處理能力在本地執行額外的任務。
存儲端處理不只是用于加速對延遲敏感的財務應用,元數據分析可以幫助IT創造新的有價值的數據服務。
過去,元數據主要為確保所有權以及安全訪問重要文件提供幫助。面對更多的基于對象的檔案,元數據為執行更長期的數據保留策略(至少保留X年,在Y年以后刪除)提供了支持。為了解大量的數據,我們必須立刻對其進行處理,這恰恰成為了Hadoop/HDFS scale-out架構的內在驅動力之一。
現在我們的數據正在變得越來越大—對象、文件、版本越來越多,數據集越來越大,架構以及格式上的多樣性越來越多,每天都在產生新數據源,IT部門可能會產生并保留更多有關已保存數據的元數據。
新智能存儲能夠自動創建更多種類的元數據,然后使用這些信息直接提供智能、快速以及高效的數據服務。目前某些存儲產品提供了:
細粒度的QoS。主機系統能夠在對象/文件級提供特定的元數據,為確保IT存儲基礎設施(比如,陣列、存儲網絡等等)各自交付不同的性能級別提供指導。例如Oracle的FS1陣列具備QoS動態分層功能,可以追蹤哪些數據位能夠優先獲得服務以及文件級的閃存加速。具有上述詳細信息,Oracle數據庫的重要文件以及應用能夠有效并自動獲得最優的存儲服務,確保數據庫性能達到最佳。
細粒度的數據保護。元數據還為細粒度數據保護提供了保證。例如,在虛擬環境中不斷發展的應用感知范例能夠在虛擬機級別配置進行存儲配置。如果存儲陣列支持hypervisor的API(比如Tintri、VMware VVols),存儲可以使用元數據提供并實施基于虛擬機的存儲策略,比如最小的RAID類型或者要求的副本數目。
內容索引與查詢。針對海量非結構化文本數據,在元數據庫中建立內容索引以提供強大的查詢功能使你能夠發現數據的價值,否則只是占用了大量的存儲空間而已。過去主動歸檔存儲只能夠查找老化的靜態數據,但現在建立索引后就像是將其加載到了主存儲當中。示例包括Tarmin GridBank,不需要開發任何特定的應用,在大數據存儲中加入了搜索引擎比如Lucene/Solr。
社交媒體分析。元數據可以用于追蹤哪個用戶訪問或者編輯了哪些數據。用戶能夠發現組織內哪些人對特定的內容感興趣,查找團隊協作模式,或者基于其他用戶已經訪問的內容提供推薦功能。例如DataGravity的存儲使用高可用的備控制器基于元數據對用戶/使用情況進行分析。
活動容量及利用率管理。當元數據統計數據包括資源利用率指標、客戶文件操作、IOPS以及其他存儲管理指標時,IT管理員就能夠對存儲基礎設施的動態行為進行深入分析。例如,Qumulo允許管理員查看存儲系統在文件級別正在執行的操作。這使查看哪些文件以及目錄在不同時間是否為熱點以及哪些客戶端正在訪問數十億文件中的哪些文件變成了現實。
分析及機器學習。現代存儲陣列的計算能力不斷增強,數據處理以及分析任務可以直接在陣列內完成。如上所述,驅動Hadoop以及HDFS的想法是在本地并行處理大數據集。數據感知存儲技術將統計分析乃至機器學習廣泛應用于存儲基礎設施中,通過將數據存儲在正確的位置,像查詢、高級元數據提取以及轉換功能將允許用戶自動分類、轉換、存儲、可視化并生成數據報表。在未來,數據甚至能夠告訴你那么我們需要做什么。
元數據能夠為將基礎設施實現智能化提供幫助。基礎設施能夠更多地感知數據,而且從某種意義上說,自我感知有助于我們繼續凌駕于挑戰和變化之上。IT盲目存儲大量數據只是一個愚蠢的游戲,數據真正的價值收集的越多,我們能夠獲得的信息也就越多。