大數據存儲，可以認為是存儲廠商基于現有大數據應用的特點進行優化的解決方案。
不久前去香港出差，剛下飛機就收到招商銀行發來的一條短信，內容是告之香港有哪些商場在舉辦促銷活動。不知道這是巧合，還是招商銀行利用大數據的新成果，但是可以肯定，利用大數據分析可以為客戶提供定制化的服務，實現精準營銷。大數據正在改變企業業務模式，也讓人們的生活變得更加便利和豐富多彩。
存儲必須整合
大數據存儲是一類單獨的產品嗎?賽迪顧問高級分析師陳靚并不這么認為：“把大數據軟件與存儲進行整合，就稱為大數據存儲，未免有些牽強。如果非要說出大數據存儲的特征，那么我認為它至少應該能讓大數據的‘4V’發揮出應有的效果，滿足大數據對性能和擴展性的要求。”
“與其說大數據存儲是一類產品，不如說它是下一代的存儲架構。這種架構可以將傳統的DAS、SAN和NAS有效地整合起來，以滿足上層計算平臺的要求。”Forrester Research首席咨詢分析師戴昆表示，“大數據存儲本身的性能與傳統企業級存儲并沒有顯著差異，它主要依賴于上層計算平臺的分布式并行處理能力，但其擴展性一定要強。”
“在中國市場上，大數據應用還沒有真正落地，許多用戶談的還是BI(商業智能)。而從國外的實踐看，BI只是大數據的一部分，屬于大數據的起步階段，真正的大數據應用是近實時或實時的數據分析。”中橋調研咨詢首席分析師王叢告訴記者，“計算、存儲、網絡等都與大數據的價值有關。大數據存儲并不是一類單獨的產品，它也可以通過類似公有云或私有云的方式提供給用戶。應用和數據量的增加，對數據的存取提出了更高要求。因此，并行存儲能力的增強對大數據存儲來說非常重要。”
EMC Isilon存儲事業部總經理楊蘭江表示，大數據存儲有很多實現方式，不過它應具備以下特性：海量數據存儲能力、全局命名空間、支持標準接口、讀寫性能優異、易于管理維護、基于開放架構、多級數據冗余、多級存儲備份等。
“存儲產品并不像網絡產品那樣有嚴格的界線，因此很難將大數據存儲單獨劃分出來。其實，大數據存儲并不是只有分布式存儲這一種方式，傳統的存儲也可以成為大數據存儲解決方案的一部分。”華為存儲產品線市場總監經寧解釋說，“華為將大數據存儲當成相對獨立的一類產品，主要是從產品的主定位角度考慮的。華為有針對企業級應用的高端存儲，也有針對中小型用戶的通用存儲，當然還有專門為大數據優化的分布式、可橫向擴展的大數據存儲。”
目前，業內并沒有關于大數據存儲產品的通用定義，但是綜合考慮廠商的產品以及用戶的需求，可以簡單概括出大數據存儲的特征：首先，大數據存儲必須能夠支持全類型數據，包括結構化、半結構化和非結構化數據，實現統一數據支持;其次，在保證可靠性的基礎之上，大數據存儲必須具備線性擴展能力，同時還要具有很強的批處理和實時處理能力;最后，在系統達到一定規模后，大數據存儲平臺的易用性和可管理性也是不可或缺的。
在大數據處理過程中，用戶發現性能的瓶頸并不在計算層面，而在于海量數據的上傳和下載。因此，極高的數據加載速率是大數據存儲必須具備的特性。大數據解決方案通常包含數據存儲、計算及分析，存儲是大數據基礎架構中的一部分。
凸顯高性能、可擴展
對中國用戶來說，大數據應用落地的關鍵是如何更好地讓企業的IT決策者和架構師理解業務需求，建立適合企業業務特點的數據應用場景和數據管理架構，更好地利用企業現有的數據資產，而非盲目地進行所謂的大數據投資。“用戶首先要考慮的是什么樣的大數據應用才能為企業帶來合理產出，其次再考慮大數據平臺和存儲，切勿本末倒置。”戴昆表示。
賽迪顧問的研究發現，中國使用大數據存儲比較多的行業是電信、互聯網、金融等，其他行業大多還在觀望及測試中。中國用戶對于大數據存儲的需求首先是可靠和穩定，金融行業的用戶非常重視這一點;互聯網用戶則要求大數據存儲具有很高的I/O吞吐能力;電信行業的客戶更青睞高性價比的大數據存儲設備。
中國惠普有限公司企業集團存儲產品部存儲架構師張楠表示，很多中國用戶會追求大容量和高性能，忽略了大數據存儲本身應該具有的其他屬性，這讓用戶在實際應用中很容易遇到一些障礙，比如無法將存儲與大數據平臺進行對接，無法在業務中充分發揮大數據存儲的價值等。究其原因，主要障礙在于有些大數據存儲產品沒有開放的接口協議， 沒有針對用戶的大數據應用場景進行特別優化， 沒有提供用戶容易接受的易用管理方式等。
存儲的高可擴展性、高可用性和并行處理能力是企業評估大數據存儲最重要的三個因素。高可擴展性可以確保企業的IT能夠隨著數據量的增長和性能需求的提高進行擴展;高可用性能夠保證大數據分析過程的平穩和無間斷運行;高并行處理能力則能夠確保在大數據處理過程中同時進行更多數據的處理，高效地完成數據分析，同時縮短產品或技術的上市周期。低延遲、自動分層存儲以及對10GbE網絡的支持等也是用戶評估大數據存儲的重要考核因素。
“如何管理好大數據真的是一個大問題。從IT的角度看，我們還缺乏能夠展現數據價值的行之有效的手段。數據作為一種資產，如何被長期、高效、經濟地保存也是一個問題。”華為海量存儲產品線總經理袁遠表示，“大數據提出了一個新的方法論——以數據為中心，而不是以應用為中心。以數據為中心，就要考慮數據的來源，如何以更低的成本存儲和管理數據，誰有權利獲得哪些數據，對數據進行分析前必須進行模型化的抽象等。大數據需要新的工具、新的管理思路和方法，同時還要對技術架構進行創新。”
歐洲核子研究中心(CERN)創建的OpenLAB旨在通過部署全球領先的IT系統和解決方案，將全球大型強子對撞機(LHC)行業的資源、研究成果匯集在一起。持續快速增長的海量科研數據對CERN的存儲系統在可擴展性、可靠性等方面提出了嚴峻挑戰，這也促使CERN開始評估新的存儲技術。最終，CERN選擇了華為UDS云存儲系統，并在三個月內完成了安裝調測和基準性能的評估。測試結果顯示，UDS創新的軟硬件和系統非常適合海量數據存儲的業務要求，這讓CERN可以在未來輕松應對EB級數據量的挑戰。
談到華為大數據存儲解決方案的特色，經寧概括說：“我們能更好地把握大數據的本質需求，并依靠自主研發能力，在IT架構上實現創新，將計算與存儲進行有機結合。我們還基于自己的大數據存儲平臺，提供了多種類型的接口，便于與應用銜接。”從產品研發的角度看，華為將重點放在了軟件方面，硬件則采用了開放的標準化的存儲服務器架構。在2013年華為云計算大會上，華為與中央電視臺正式簽署合作協議，在大數據存儲領域建立戰略合作關系，為媒資行業提供領先的技術和應用模式。雙方計劃聯合開發自適應、深度節能的高密度、大容量的媒資存儲系統。
面對大數據的需求，存儲永遠不變的是對數據可靠性、性能、可擴展性和效率的追求，而有可能發生改變的是為了提高效率、節省消耗，存儲可以變得更加靈活，也可以考慮與計算進行融合等。不管存儲如何變化，用戶對高性價比的需求始終不變。
數據收集和存儲是大數據分析的第一個環節。在大數據時代，應用數量、數據量和使用者數量的增長，對存儲IOPS以及OLTP和OLAP的要求越來越高，具體表現在現有的存儲已不能滿足業務關鍵型應用的需求。中橋調研咨詢針對中國用戶的調研數據顯示，FC SAN仍是企業級用戶(42.1%)和中型企業(34.0%)的首選，遠高于其他存儲類型的占比。這是因為FC SAN對OLTP和OLAP的性能穩定性優于其他存儲技術。這一調查結果也顯示，目前中國用戶大多處于大數據分析的第一階段，其工作以存儲和IT架構的整合和優化為主。王叢分析說，隨著Hadoop和MapReduce的不斷普及，中國用戶將逐步進入近實時和實時分析階段，節點式存儲的占比會隨之增加。
打通行業價值鏈
華為的金字塔型“4V”理論具體來說，第一步，要建立一個高效的存儲架構平臺，它既能處理大量的小文件，也能處理單體較大的文件。第二步，這個存儲平臺要具備極高的處理性能。第三步，這個存儲平臺要能處理多樣化的數據，包括結構化和非結構化數據。只有通過前面三步打下的基礎，企業用戶才能進入最后一步，在一個高效的專門為大數據構建和優化的平臺上進行數據分析和挖掘，并最終獲得所需的價值。
經寧表示：“如果仔細甄別，大數據與海量數據還是有差別的，畢竟大數據不僅僅是指數據量大，還包括處理、分析和挖掘等過程。從表面上看，大數據的‘4V’特征是并列的關系，但實際上這些因素之間還是有層次性的。我們提出的大數據金字塔模型，可以更好展現大數據價值的實現過程。”
華為倡導構建高效的大數據存儲平臺，而其中的高效又是如何來衡量的呢?高效的第一個衡量指標就是性能。性能是大數據存儲平臺的基石之一，沒有性能的保證，大數據系統無異于空中樓閣。其次，大數據強調的是簡化使用，提高效率。最后，高效的大數據存儲平臺應該采用融合的技術架構。以華為OceanStor 9000大數據存儲系統為例，它采用華為首創的全融合創新架構，可以實現存儲、分析和歸檔的融合，同時具有很強的橫向擴展能力，最大可擴展至288節點，單一文件系統可支持40PB容量。分析功能是指OceanStor 9000中內置了分布式數據庫，能完成數據的快速檢索和查詢，以支持上層應用。
華為一直堅持“被集成”的策略，這在大數據領域同樣適用。華為的大數據存儲平臺可以提供開放的接口，方便與BI軟件和應用軟件連接，進一步提高查詢效率。在 OceanStor 9000這樣的融合平臺之上，用戶還可以根據業務的情況靈活添加相關的功能模塊。“在大數據方面，我們主要從垂直行業切入，與行業ISV緊密合作，為金融、電信運營商、媒體、智慧城市、石油勘探等領域的用戶提供端到端的大數據存儲解決方案。”經寧說，“雖然我們已在大數據存儲市場上取得了豐碩的成果，但是我們更看好大數據存儲市場未來的潛力，因為其增長速度遠高于傳統存儲市場。”
更好的兼容 更經濟的交付
中橋調研咨詢的調查結果顯示，未來24個月內，64.8%的用戶將部署新存儲來滿足大數據時代業務關鍵型應用對存儲性能越來越高的需求。王叢表示：“針對大數據應用，存儲可以選擇的余地較大，基于一些開源架構的基礎平臺也能滿足大數據的需求。未來，大數據主要處理的是非結構化數據，如何將數據快速轉變為價值是關鍵。大數據不是一個產品，而是解決方案，只有將解決方案與應用相結合才可能更好地挖掘數據的商業價值。”
綜合多位分析師的觀點，在大數據存儲領域，國外廠商仍處于領跑地位，國內廠商如華為也在大數據存儲領域保持了高速增長。各廠商在大數據存儲方面各具所長，誰能建立更好的客戶關系和生態系統，使大數據存儲解決方案與企業現有的技術架構兼容，并能實現更經濟的交付，誰就能在大數據存儲市場上脫穎而出。
尋求容量、可靠性和速度的平衡
用戶說
對非結構化數據進行存儲，除了考慮易用性、性能和安全因素以外，還要考慮與智能挖掘相關技術相結合。
大數據要求用戶不僅要對傳統商業智能軟件進行改造，還要對企業已有的業務系統基礎架構進行改造。
大數據面臨的最大挑戰是大規模、實時的關聯性分析。對于存儲來說，高吞吐、低延遲的要求會越來越高，內存、閃存的重要性也會越來越高。
中國的大數據應用已經起步。記者采訪了金融、互聯網、教育、制造等行業的一些敢于“吃螃蟹”的用戶。
京公網安備 11010502049343號