現在，提到存儲，就不得不提到大數據。大數據如何存儲，如何實現數據快速查找、快速分析，如何應用等都是大數據時代存儲要面臨解決的問題。
大數據存儲不是一類單獨的產品，它有很多實現方式。EMC Isilon存儲事業部總經理楊蘭江概括說，大數據存儲應該具有以下一些特性：海量數據存儲能力，可輕松管理PB級乃至數十PB的存儲容量;具有全局命名空間，所有應用可以看到統一的文件系統視圖;支持標準接口，應用無需修改可直接運行，并提供API接口進行面向對象的管理;讀寫性能優異，聚合帶寬高達數GB乃至數十GB;易于管理維護，無需中斷業務即可輕松實現動態擴展;基于開放架構，可以運行于任何開放架構的硬件之上;具有多級數據冗余，支持硬件與軟件冗余保護，數據具有高可靠性;采用多級存儲備份，可靈活支持SSD、SAS、SATA和磁帶庫的統一管理。
通過與中國用戶的接觸，楊蘭江認為，當前中國用戶最迫切需要了解的是大數據存儲有哪些分類，而在大數據應用方面面臨的最大障礙就是如何在眾多平臺中找到適合自己的解決方案。
EMC針對不同的應用需求可以提供不同的解決方案：對于能源、媒體、生命科學、醫療影像、GIS、視頻監控、HPC應用、某些歸檔應用等，EMC會首推以Isilon存儲為核心的大數據存儲解決方案;對于虛擬化以及具有很多小文件的應用，EMC將首推以VNX、XtremIO為核心的大數據存儲解決方案;對于大數據分析一類的應用需求，EMC會綜合考慮客戶的具體需求，推薦Pivotal、Isilon等一體化的解決方案。在此，具體介紹一下EMC用于大數據的橫向擴展NAS解決方案——EMC Isilon，其設計目標是簡化對大數據存儲基礎架構的管理，為大數據提供靈活的可擴展平臺，進一步提高大數據存儲的效率，降低成本。
EMC Isilon存儲解決方案主要包括三部分：EMC Isilon平臺節點和加速器，可從單個文件系統進行大數據存儲，從而服務于 I/O 密集型應用程序、存儲和近線歸檔;EMC Isilon基礎架構軟件是一個強大的工具，可幫助用戶在大數據環境中保護數據、控制成本并優化存儲資源和系統性能;EMC Isilon OneFS操作系統可在集群中跨節點智能地整合文件系統、卷管理器和數據保護功能。
楊蘭江表示，企業用戶選擇EMC Isilon的理由可以歸納為以下幾點。第一，簡化管理，增強易用性。與傳統NAS相比，無論未來存儲容量、性能增加到何種程度，EMC Isilon的安裝、管理和擴展都會保持其簡單性。第二，強大的可擴展性。EMC Isilon可以滿足非結構化數據的存儲和分析需求，單個文件系統和卷中每個集群的容量為18TB～15PB。第三，更高的處理效率，更低的成本。EMC Isilon在單個共享存儲池中的利用率超過80%，而EMC Isilon SmartPools軟件可進一步優化資源，提供自動存儲分層，保證存儲的高性能、經濟性。第四，靈活的互操作性。EMC Isilon支持眾多行業標準，簡化工作流。它還提供了API可以向客戶和ISV提供OneFS控制接口，提供Isilon集群的自動化、協調和資源調配能力。
EMC Isilon大數據存儲解決方案已經在醫療、制造、高校和科研機構中有了許多成功應用。
方案點評
EMC Isilon是一個強大但簡單的橫向擴展NAS方案，適用于希望投資數據管理而不是單純存儲的企業。當初，EMC將收購來的分布式數據倉庫軟件廠商Greenplum的軟件與Isilon存儲組合成了EMC最早的大數據解決方案。用戶既可以分開選擇Greenplum軟件或Isilon存儲，也可以選擇由Greenplum軟件和Isilon存儲組成的一體機解決方案。現在，Greenplum軟件雖然已歸Pivotal公司，但EMC是Pivotal的經銷商與合作伙伴，Greenplum與Isilon存儲的組合方案并不會因此受到影響。
HDS UCP：統一平臺 應用優化
HDS中國區解決方案與專業服務事業部總監陳戈認為，大數據存儲應該是一個解決方案：“大數據解決方案是由基礎架構的各部件組成的，包含數據存儲、計算和分析，而存儲是此架構中的一部分。”
大數據的存儲類型與傳統的存儲類型有一定區別：在大數據存儲中，更多的應用是一次寫、多次讀，讀得更多是大數據存儲的一個特點，而在傳統的數據存儲中，讀寫是隨機的，由于每個應用不同，其讀寫的比例也是隨機的;大數據存儲需要具有橫向的可擴展性，并可支持多種接口、多種數據訪問協議，便于不同數據進入這個大數據平臺。
談到中國用戶在大數據存儲應用中最迫切的需求是什么，陳戈認為，中國用戶最迫切的需求是如何逐步實現大數據應用，即用戶從現有的模式如何過渡到大數據，如何更好地利用大數據進行經營分析。
大數據的經典定義可以歸納為四個“V”，但企業不可能一步到位實現四個“V”，這需要一個循序漸進的過程。海量的、多種類型的數據是一次性全部載入到大數據中，還是通過現有的平臺進行數據初選，再導入到大數據平臺中，是兩種不同的實現途徑。“先通過現有平臺進行數據初選，再導入到大數據平臺，這種方式更適合于客戶逐漸實現大數據，可以縮短用戶實現大數據應用的時間。”陳戈表示，“大數據主要是非結構化數據。用戶可以使用基于對象數據存儲的HCP，利用其獨特的元數據采集和智能工具，對非結構化文件數據進行管理，實現智能的自動化，這有助于對數據進行深度分析，幫助客戶從單一系統中存儲、共享、同步、保護、保存、分析和檢索文件數據，減少垃圾數據，進而為大數據分析建立一個良好的基礎。”
談到用戶在大數據應用中遇到的主要障礙，陳戈表示，一方面，應用軟件本身的智能程度是否能滿足行業應用需求，應用軟件是否已經成型，大數據人才是否具備等，是讓大數據應用落地的關鍵;另一方面，如何抽取數據，放在大數據平臺中進行相應的計算是另一個關鍵問題。
HDS可為所有數據提供單一、可擴展的虛擬化集成平臺。HDS推出了“三步”云戰略，從基礎架構、內容和信息三個層面幫助客戶解決目前所遇到的問題。具體來看，通過“基礎架構云”，HDS可以幫助客戶進行虛擬化和集成管理，實現數據中心的整合;在第二層的“內容云”當中，HDS可以按需提供內容，更可以不受應用限制地進行數據搜索和集成;在第三層的“信息云”中，針對所有數據類型，HDS在其存儲平臺中融入了分析功能，使客戶可以從數據信息中獲取洞察力。
HDS提供的UCP for SAP HANA集成了基于大量數據集的創新和內存分析技術，并提供實時的洞察力，從而使當前的信息驅動型企業可以加快其商業決策的速度。陳戈介紹說，UCP for SAP HANA解決方案結合了HDS刀片服務器技術、企業級存儲系統和業內領先的網絡組件，在這樣一個集成的、高性能的硬件平臺上可以快速交付SAP下一代內存計算技術。全球已有超過200家客戶在使用HDS和SAP的大數據解決方案。
方案點評
其實，HDS的“三步”云戰略也可以看成是其大數據戰略。HDS借助以UCP為核心的大數據平臺，可以幫助企業用戶構建從基礎架構到內容歸檔和搜索，直至信息提取和分析的全面、高效的大數據解決方案。HDS的“信息云”直接與大數據相關。UCP是一個集成了計算、存儲與網絡的一體化平臺，它既可以提供像一體機一樣的整合性、簡單性，又可以提供靈活的選擇，連接第三方的設備組件。HDS還通過與包括SAP在內的眾多大數據分析類的合作伙伴合作，針對行業定制優質的大數據解決方案。
HP StoreAll ：快速部署 極速搜索
中國惠普有限公司企業集團存儲產品部存儲架構師張楠向記者表示，大數據存儲是一套解決方案，應該能夠對大數據的Volume、Velocity、Variety和Value四個方面提供全面的支持。
第一，大數據存儲要支持海量級的數據存儲，比如具有PB級的存儲能力。第二，大數據存儲要支持更高的存儲速度，支持10Gb甚至更高的網絡連接。第三，大數據存儲要支持數據的多樣性，如圖片、文本、視頻、音頻等。第四，大數據最重要的是價值的體現，而為了實現這一點，存儲本身應該具備快速、智能的數據檢索能力。“在存儲的最底層提供最直接、快捷的數據檢索。這一過程簡單說就是，將上層的數據挖掘工作下移，充分利用存儲強大的處理能力和數據識別能力。”張楠舉例說，“比如，在秒級的單位內對數據進行極速的搜索, 從幾千萬甚至上億個文件中找到目標數據。”
另外，模糊查詢能力也是大數據存儲不可缺少的功能。智能的模糊查詢將為大數據平臺提供更加便捷的存儲服務能力，使得存儲更像一臺智能的高速計算設備。
目前，很多中國用戶在存儲廠商的引導下，片面追求存儲的大容量和高性能，而忽略了大數據存儲本身應該提供的其他額外屬性。中國用戶在實施大數據的過程中經常遇到的障礙有以下兩方面：第一，無法將存儲與大數據平臺進行對接;第二，無法充分利用大數據存儲的價值，也很難將其運用到實際的業務中。張楠表示，究其原因，主要在于有些大數據存儲產品沒有開放的接口協議，或沒有針對用戶的大數據場景進行特別優化，也沒有用戶容易接受的易用的管理方式等。
惠普在大數據方面可以提供軟硬結合的解決方案。惠普在收購Autonomy公司之后，將其軟件與惠普的硬件平臺進行了整合， 形成了一套完整的大數據解決方案。張楠介紹說，在存儲方面，惠普擁有像StoreAll這樣的大數據存儲平臺。借助HP StoreAll硬件平臺，用戶除了可以實現海量數據的存儲和高速數據訪問以外，還能實現高級的數據檢索功能，對特殊文件進行快速定位。同時，結合HP Autonomy軟件的特性，惠普還引入了模糊查詢、智能語義庫等概念，可以幫助企業用戶通過存儲底層為上層業務帶來所需的大數據業務價值。
如今，閃存不僅在大數據領域，而且在Tier 1存儲市場同樣占據著十分重要的地位。對于大數據平臺來說，閃存可用來提升存儲的存取速度，降低I/O的響應時間等。針對那些I/O壓力十分明確的大數據平臺， SSD可以發揮其效果， 提升存儲的整體性能。但是，SSD并不是萬能的。因為大部分的數據都是非結構化的，而非結構化數據對I/O的響應要求遠遠沒有對帶寬的需求大，所以，讓用戶花數倍的價格購買SSD存儲在目前來看還是比較困難的。從目前情況看，引入閃存的大數據解決方案還不是很普遍。
方案點評
惠普在大數據方面收購了兩個軟件公司Vertica與Autonomy，然后將它們的軟件與原有的硬件平臺進行整合，針對結構化和非結構化的數據都可以提供針對性的解決方案。惠普在將大數據軟件與存儲硬件結合上也進行了嘗試，其中一個成功的例子就是HP StoreAll大數據存儲平臺。HP StoreAll具有以下特點：橫向擴展，最大可以擴展到16TB;集成HP Autonomy搜索引擎，可以快速搜索，實現實時大數據的價值;內置對OpenStack的支持，可快速部署;支持文件和對象類型的數據存儲。
NetApp：統一架構 無限擴展
如今，企業若想獲得成功，就必須想方設法應對具有前所未有的復雜性、高性能的海量數據，并盡可能地管理這些數據，從中發掘更大的商業價值。
對于國內用戶來說，無論企業的規模和數據量大小如何，運用大數據的關鍵在于，企業是否把大數據作為一個真正的工具，去體現企業的差異化，從而提升競爭力。隨著越來越智慧的企業信息化的發展，IT不再是束縛企業發展的瓶頸，而是真正地融入了企業自身的業務中。越來越多的公司將大數據成功地運用于企業的商業模式。例如，在歐美，很多企業已經著手將大量資源投放在大數據領域。反觀國內，在金融領域，有為數不少的企業通過大數據的分析工具來分析金融的走勢，實現風險管理，進行信用卡的追蹤等。此外，像零售、制造、電信等行業也已在嘗試利用大數據分析工具為企業營銷和決策提供支撐。
無論企業現在是否正在使用大數據工具，企業都應全面地考慮自身未來發展的需求，選擇一個廠家的平臺與之共同發展，這可以有效避免因數據和應用遷移帶來的麻煩。
在大數據方面，NetApp能夠幫助企業實現數據管理，應對業務挑戰的極限，將以數據為導向的洞察轉化為有效行動。若想將數據轉化為商機，僅僅提升管理能力是不夠的，需要徹底轉變數據和業務之間的聯系模式。NetApp可以幫助企業用戶持續管理數據，迅速把握意料之外的新商機，永久保存所有數據，并在靈活、開放的存儲平臺之上打造屬于企業自己的大數據解決方案。
NetApp提供了可高效處理、分析、管理和訪問大規模數據的大數據解決方案。NetApp的解決方案組合可劃分為分析、帶寬和內容三個主要用例，這被稱之為大數據的“ABC”基本要素。
具體來看，分析(Analysis)是指針對極大數據集的高效分析。NetApp分析解決方案就是幫助用戶深入了解和利用數字世界，將數據轉化為高質量的信息，以及提供關于業務的更深入見解，從而幫助企業做出更好的決策。
帶寬(Bandwidth)是指適用于數據密集型工作負載的性能。此類解決方案著重于為速度非常快的工作負載提供更高的性能。高帶寬應用包括高性能計算(能以極快的速度執行復雜的分析)、用于監控和任務規劃的高性能視頻流、媒體和娛樂領域中的視頻剪輯和播放。
內容(Content)是指無限的安全數據存儲。此類解決方案著重于滿足可擴展的安全數據存儲需求。內容解決方案必須支持存儲的無限擴展能力，以便企業可以根據需要存儲任意多的數據，并能在需要時找到所需的數據。
NetApp致力于通過一系列解決方案來提供高性能的運算和大數據的應用。2013年11月，NetApp再次更新了E系列家族產品，推出E2700和E5500。該系列產品采用可輕松擴展的設計，適用于要求99.999%的可靠性且穩定、高性能的工作負載。
用戶在采購大數據存儲產品時，需要注意以下五個方面的問題：大數據存儲必須具有向上擴展與向外擴展的能力;架構必須是針對工作負載進行優化的，具有實時處理能力;具有整合的數據保護功能;保證7×24小時運行不中斷，可在線進行容量擴展，實施數據遷移等;可以實現服務的自動化。
方案點評
NetApp的技術優勢集中體現在其統一存儲平臺上，從入門級產品到企業級產品，全部基于同一個體系架構和操作系統，不僅部署和使用方便，而且升級和擴展非常簡單。當初，NetApp收購LSI Engenio，其中一個重要的原因就是為了大數據。2013年，NetApp不斷更新E系列產品線，推出E2700和E5500等。E5500可以支持高IOPS混合工作負載和數據庫、高性能文件系統和帶寬密集型流等應用，可確保數據的高可用性、完整性和安全性。
曙光XData：高度集成 貼近行業
關于大數據存儲，目前業界沒有一個通用的定義。曙光信息產業股份有限公司總裁助理兼存儲產品線產品總監惠潤海從曙光大數據平臺和解決方案角度，概括出大數據存儲的主要特征。
首先，大數據存儲必須支持全類型數據， 包括結構化、半結構化和非結構數據，實現統一數據支持。
其次，存儲性能上，一方面，大數據存儲要支持海量數據，并且要在保證數據可靠性的基礎之上，實現容量與性能的線性擴展;另一方面，為了實現大數據的價值，批處理和實時處理兩種措施都需要高性能的數據訪問獲取能力。
最后，在系統達到一定規模之后，系統的易用性和可管理性也是不可或缺的。
從應用角度來說，目前中國用戶在大數據存儲應用中最迫切的需求，是如何真正實現用戶數據的價值，如何驅動業務發展，實現決策和運營。“從系統構建層面說，要實現數據高性價比的存儲和管理，同時滿足數據服務的相關需求。”惠潤海表示。
針對用戶對大數據存儲的需求， 曙光推出了像大數據一體機這樣的全類型數據分析型產品，同時還基于該產品構建了基于行業的解決方案，以幫助用戶實現大數據落地。
“除此之外， 我們還提供了大數據統一數據中心解決方案， 涵蓋了像主攻事物處理的DS900、DS800，以及針對文件存儲的Parastor等存儲產品。我們基于這些存儲產品構建了大數據運營管理平臺。”惠潤海介紹說，“曙光的優勢不僅在于可以提供全面的產品支撐，更重要的是能夠提供數據生命周期過程服務支持。目前，我們提供的免費維保期限為5年。”
曙光開發了針對不同行業和應用場景的大數據存儲解決方案。以金融行業為例，目前國內四大行的應用系統每年產生的非結構化數據量已達到PB級，結構化數據也以百TB計。面對如此大量的數據，如何存儲、管理、利用和盤活它們呢?惠潤海認為，只有通過商業智能和高級分析應用解決方案才能將數據的價值最大程度地發揮出來。
針對金融行業用戶的需求，曙光開發的XData大數據解決方案利用優化的大數據處理技術，對文件管理、歷史數據查詢和數據分析類應用等進行深入研究，為數據爆炸式增長帶來的海量數據存儲及分析應用提供高可靠的解決方案。
曙光金融行業XData大數據解決方案采用曙光自主研發的SN-MPP并行數據庫，同時結合大數據處理事實標準Hadoop，并充分考慮了多方面的數據收集，加入ETL工具和連接驅動器，提供了類SQL的接口，還和現有金融業務系統進行對接。
針對金融行業歷史數據，XData大數據解決方案在方案設計上主要考慮了數據的安全性、歷史數據高效導入、快速訪問與分析報表。曙光金融行業大數據解決方案立足于基礎平臺建設，同時切實貼合金融行業用戶需求，提供了優質的軟硬一體化解決方案，為用戶一攬子解決了部署、業務移植開發等技術難題，幫助用戶跨過應用門檻。
方案點評
曙光不僅有像Parastor這樣的大型并行處理存儲系統，而且推出了業內流行的大數據一體機XData，給用戶提供了多種選擇。XData大數據一體機將軟硬件性能最大化，同時降低了整體擁有成本，縮短了項目周期， 減少了項目風險。曙光針對不同行業的特定需求，推出了定制化的大數據解決方案，覆蓋金融、電信、交通、醫療、教育、軍工、衛星遙感等領域，通過自身大數據平臺上豐富的接口，與各行業的應用相集成，提供高效和個性化的數據分析服務，挖掘數據價值。
京公網安備 11010502049343號