信息時代的進步，產生了大量的數據，這些數據時非常寶貴的財富。但是隨著信息的不斷積累，對于數據的分析和存儲帶來了諸多的挑戰，該如何解決。大數據被視為珍貴的資源，但是真的數據就能解決一切嗎?數據的應用何其復雜，有時候從中獲取的遠比分析相得到的少得多。
大數據存數的挑戰與對策
大的數據并不是一種特定類型的數據。每一種非結構化數據均可被視為大數據。這包括在社交網站上的數據、在線金融交易數據、公司記錄、氣象監測數據、衛星數據和其他監控、研究和開發數據。大數據的量是巨大的而且是非結構化的。
IDC將大數據技術定義為：大數據技術描述了新一代的技術和架構體系，通過高速采集、發現和分析，提取各種各樣的大量數據的經濟價值。如下是一些有助于您的企業有效地管理數據存儲需求的提示：
通過隔離管理大數據存儲
如果您在您的企業中有多個存儲箱，那么將數據庫、線交易處理(OLTP)和微軟Exchange應用到特定的存儲系統絕對是一個好主意。而專其它存儲系統則用于大數據應用，如門戶網站，在線流媒體應用，等等。
如果您的企業負擔不起分隔的存儲系統，將特定的前端存儲端口到數據庫，OLTP，等等;致力于大數據應用到其他端口。背后的基本原理是使用專用端口，而大數據流量是以千字節或兆字節衡量，OLTP應用流量是以每秒的輸入/輸出操作(IOPS)衡量，因為數據塊的大小是比大數據更大而比OLTP應用程序更小。OLTP應用程序是CPU密集型的，而大數據應用程序更多的使用前端端口。因此，更多的端口可以專注于大數據應用。
專業的大數據存儲管理
如今，很多公司提供兼容數據管理的存儲系統。你應該在尋找你的大數據存儲管理解決方案時評估這些公司。如EMCIsilon的集群存儲系統對于大數據存儲管理是一個更好的選擇，因為在一個單一的文件系統中大數據能增長到多字節的數據。
大數據分析
除了存儲，大數據管理的另一項大的挑戰是數據分析。一般的數據分析應用程序無法很好的處理大數據，畢竟涉及到大量的數據。
目前，諸如EMCGreenplum這樣的公司就在采用專門針對大數據的管理和分析的工具。這些應用程序運行在集群存儲系統上，緩解大數據的管理。建議選擇應用程序可同時工作在群集存儲系統，并迅速有效地分析數據。快速索引，確保元數據始終駐留在固態硬盤(SSD)，如果存儲箱為您提供了這樣的選擇的話。
管理大數據的另一個需要重點考慮的是未來的數據增長。你的大數據存儲管理系統應該是可擴展的，足以滿足未來的存儲需求。
大數據的存儲管理和云計算
許多公司正在尋找云計算服務來進行存儲和管理海量數據。而選擇云服務來大型數據存儲管理，可以確保數據的所有權仍然是你的。
大數據不適合處理的十件事情
數據的重要性被大家說得十分光彩，許多企業領導人開始接納大數據處理并期待神奇和奇跡，但卻發現大數據帶來新的復雜性，且從中獲益所需要付出的努力要預計中的多得多。
1、解決你的業務問題
大數據不會處理業務問題。人們可以做的，就是要坐下來，在開始使用大數據之前，討論決定放棄大數據，就使用商業智能取得共識。
2、幫助你管理數據
IBM公司宣稱：每一天都會產生250萬字節的數據，其中大部分屬于大數據。不出預料，世界范圍內企業所需要管理的數據量呈現指數級增長，由于缺乏清晰有效地數據存儲和使用策略，數據將不斷堆積，每個企業都陷于數據管理的工作。
3、緩解減輕你的安全憂慮
對于許多公司來說，確保大數據的安全訪問仍然是一個開放式的課題。這是因為對于大數據安全實踐的定義遠沒有系統數據和記錄保護這樣明確。我們正處在這樣的一個時間點上，也就是IT與最終用戶一起來確定：誰可以訪問哪些級別的大數據，并可以進行相應地分析。
4、關鍵IT技能缺乏
大數據處理數據庫管理、服務器管理、軟件開發、業務分析技能短缺，許多IT部門關鍵IT技能的缺失會不斷成為企業的負擔。
5、減少遺留系統的價值
如果有的話，遺留系統記錄會較之任何大數據更具有價值。通常情況下，正是這些遺留系統可以為大數據分析提供重要線索，用于回答重要的業務問題。
6、簡化數據中心
大數據分析需要并行處理計算機集群和傳統IT事務處理和數據倉庫系統等不同風格的系統管理，這就意味著能量、冷卻、軟件硬件消耗，運轉這些系統所需要的技巧也不盡相同
7、提高數據質量
傳統事務處理系統美妙之處在于其擁有固定長度的數據字段以及全面的數據編輯和驗證發方式，這有助于得到一個相對干凈的表格呈現。大數據不是這樣，他們是非結構化的數據，可以表現為幾乎任何形式。這讓大數據的質量成為一個令人頭痛的難題。數據質量至關重要，如果你沒有它，就不能信任數據查詢的結果。
8、驗證當前的投資回報率(ROI)
衡量系統投資回報率最常用的方法是監測交易速度，然后推斷其獲利能力(例如酒店每分鐘有多少新的預訂)。對于大數據處理來說，交易速度不是好的衡量指標，大數據緩存和運行分析可能需要數小時甚至數天才可以殺青。衡量大數據處理有效性的一個最好的指標應該是利用率，它應該保持在90%以上(相比于交易系統，其利用率可能只有20%)。對于大數據來說，確定新的ROI指標尤為重要，因為你還有說服CFO以及其他業務部門的領導。
9、減小“噪音”
95%以上的大數據屬于“噪音”,對于商業智能的貢獻很小或幾乎沒有。通過數據篩選來進行企業掘金，幫助企業業務進步，這是一個非常艱巨的任務。
10、每天工作時間
多年來，大學和研究中心一直運用大數據實驗，試圖解答基因組、藥物研究以及是否有其他星球生命等令人難以捉摸問題的答案。雖然其中一些算法和查詢產生結果更多還是不確定的，大學和研究對于環境的研究也尚無定論，但這不是企業可以接受的，因此，IT和企業關鍵決策者需要對預期進行調整和管理。
小結：大數據帶來的不僅僅是豐富的信息財富，這些財富是需要我們從中分析才能得出來的，而大量的數據存儲也對我們提出了新的挑戰。如何有效地管理數據對企業來說也是非常中，同時企業不能太過依賴數據，要想從中有所收獲也是要付出努力的。
京公網安備 11010502049343號